Flink实例（二）: 自定义source

2020-09-16 23:02:22 阅读：411 来源： 互联网

标签：Flink val 自定义 flink source SensorReading atguigu import com

1 工程目录

SensorReading

package com.atguigu.flink.bean

case class SensorReading(
                          id: String,
                          timestamp: Long,
                          timepreture: Double
                        )

SensorSource

package com.atguigu.flink.source

import java.util.Calendar

import com.atguigu.flink.bean.SensorReading
import org.apache.flink.streaming.api.functions.source.{RichParallelSourceFunction, RichSourceFunction, SourceFunction}

import scala.collection.immutable
import scala.util.Random

class SensorSource extends RichSourceFunction[SensorReading]{
  //表示数据源是否运行正常
  var running: Boolean = true

  //上下文参数来发送数据
  override def run(sContext:SourceFunction.SourceContext[SensorReading]) {
    val rand = new Random()
    //使用高斯噪声产生随机温度
    val curFtemp = (1 to 10).map(
      i => ("sensor_" + i, rand.nextGaussian() * 20)
    )

  //产生无限流数据
    while(running){
      val mapTemp:immutable.IndexedSeq[(String,Double)] = curFtemp.map(
        t => (t._1,t._2 + (rand.nextGaussian()*10))
      )
      //产生时间戳
      val curTime:Long = Calendar.getInstance().getTimeInMillis

      //发送出去
      mapTemp.foreach(t => sContext.collect(SensorReading(t._1,curTime,t._2)))
      //每隔100ms发送一条传感器数据
      Thread.sleep(100)

    }

  }
  override def cancel(): Unit = running =false
}

主程序入口 ConsumerFromSensorSource

package com.atguigu.flink.app

import com.atguigu.flink.bean.SensorReading
import com.atguigu.flink.source.SensorSource
import org.apache.flink.streaming.api.datastream.DataStreamSource
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment

object ConsumerFromSensorSource {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    //调用addSource
    val stream: DataStreamSource[SensorReading] = env.addSource(new SensorSource)

    // 打印流
    stream.print()

    // 执行主程序
    env.execute()



  }

}

标签：Flink,val,自定义,flink,source,SensorReading,atguigu,import,com
来源： https://www.cnblogs.com/qiu-hua/p/13680148.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Flink实例（二）: 自定义source

1 工程目录