标签：KeyedStream 常用 Flink DataStream value 算子 Override new public

Operators

• map
  DataStream → DataStream

• flatMap
  DataStream → DataStream

• fliter
  DataStream → DataStream

• keyBy
  DataStream → KeyedStream
  对数据进行分流

• reduce
  KeyedStream/WindowedStream/AllWindowedStream → DataStream
  用于keyBy或者window/windowAll之后

• window
  KeyedStream → WindowedStream
  用于keyBy之后

• windowAll
  DataStream → AllWindowedStream
  不用于keyBy之后，此算子并行度始终为1

• apply
  WindowedStream/AllWindowedStream → DataStream

• union
  DataStream* → DataStream
  合并相同类型的流

• join
  DataStream,DataStream → DataStream
  比较两条流中的元素，如果相等输出，否则不进行输出。

  dataStream.join(otherStream)
  .where().equalTo()
  .window(TumblingEventTimeWindows.of(Time.seconds(3)))
  .apply (new JoinFunction () {…});

• Interval Join
  KeyedStream,KeyedStream → DataStream

  // this will join the two streams so that
  // key1 == key2 && leftTs - 2 < rightTs < leftTs + 2
  keyedStream.intervalJoin(otherKeyedStream)
  .between(Time.milliseconds(-2), Time.milliseconds(2)) // lower and upper bound
  .upperBoundExclusive(true) // optional
  .lowerBoundExclusive(true) // optional
  .process(new IntervalJoinFunction() {…});

• CoGroup
  DataStream,DataStream → DataStream
  比较两条流中的元素，如果相等则放在一起输出，否则分开输出。重点是group。

  dataStream.coGroup(otherStream)
  .where(0).equalTo(1)
  .window(TumblingEventTimeWindows.of(Time.seconds(3)))
  .apply (new CoGroupFunction () {…});

• Connect
  DataStream,DataStream → ConnectedStream
  “连接”两条数据流，并保留他们的类型(类型可以不一样)。连接允许两个流之间共享状态。

  DataStream someStream = //…
  DataStream otherStream = //…

  ConnectedStreams<Integer, String> connectedStreams = someStream.connect(otherStream);

• CoMap, CoFlatMap
  ConnectedStream → DataStream
  专门针对ConnectedStream流的算子

  connectedStreams.map(new CoMapFunction<Integer, String, Boolean>() {
  @Override
  public Boolean map1(Integer value) {
  return true;
  }

  @Override
  public Boolean map2(String value) {
      return false;
  }
  

  });
  connectedStreams.flatMap(new CoFlatMapFunction<Integer, String, String>() {

  @Override
  public void flatMap1(Integer value, Collector out) {
  out.collect(value.toString());
  }

  @Override
  public void flatMap2(String value, Collector out) {
  for (String word: value.split(" ")) {
  out.collect(word);
  }
  }
  });

• Iterate
  DataStream → IterativeStream → ConnectedStream
  一个流被分为两部分，一部分持续不断循环输出，另一部分正常输出。

  IterativeStream iteration = initialStream.iterate();
  DataStream iterationBody = iteration.map (/do something/);
  DataStream feedback = iterationBody.filter(new FilterFunction(){
  @Override
  public boolean filter(Long value) throws Exception {
  return value > 0;
  }
  });
  iteration.closeWith(feedback);
  DataStream output = iterationBody.filter(new FilterFunction(){
  @Override
  public boolean filter(Long value) throws Exception {
  return value <= 0;
  }
  });

标签：KeyedStream,常用,Flink,DataStream,value,算子,Override,new,public
来源： https://blog.csdn.net/web13093320398/article/details/123052999

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。