如何正确使用Flink Connector?( 七 )

4.Async I/O

流计算中经常需要与外部存储系统交互 , 比如需要关联 MySQL 中的某个表 。 一般来说 , 如果用同步 I/O 的方式 , 会造成系统中出现大的等待时间 , 影响吞吐和延迟 。 为了解决这个问题 , 异步 I/O 可以并发处理多个请求 , 提高吞吐 , 减少延迟 。

Tips:Async 的原理可参考官方文档

Flink Kafka Connector

本章重点介绍生产环境中最常用到的 Flink kafka connector 。 使用 Flink 的同学 , 一定会很熟悉 kafka , 它是一个分布式的、分区的、多副本的、 支持高吞吐的、发布订阅消息系统 。 生产环境环境中也经常会跟 kafka 进行一些数据的交换 , 比如利用 kafka consumer 读取数据 , 然后进行一系列的处理之后 , 再将结果写出到 kafka 中 。 这里会主要分两个部分进行介绍 , 一是 Flink kafka Consumer , 一个是 Flink kafka Producer 。

首先看一个例子来串联下 Flink kafka connector 。 代码逻辑里主要是从 kafka 里读数据 , 然后做简单的处理 , 再写回到 kafka 中 。

推荐阅读