如何正确使用Flink Connector?( 九 )
message String topic int partition long offset) 函数 。
另外 Flink 中也提供了一些常用的序列化反序列化的 schema 类 。 例如 , SimpleStringSchema , 按字符串方式进行序列化、反序列化 。 TypeInformationSerializationSchema , 它可根据 Flink 的 TypeInformation 信息来推断出需要选择的 schema 。 JsonDeserializationSchema 使用 jackson 反序列化 json 格式消息 , 并返回 ObjectNode , 可以使用 .get(“property”) 方法来访问相应字段 。
-
消费起始位置设置
如何设置作业从 kafka 消费数据最开始的起始位置 , 这一部分 Flink 也提供了非常好的封装 。 在构造好的 FlinkKafkaConsumer 类后面调用如下相应函数 , 设置合适的起始位置 。
-
setStartFromGroupOffsets , 也是默认的策略 , 从 group offset 位置读取数据 , group offset 指的是 kafka broker 端记录的某个 group 的最后一次的消费位置 。 但是 kafka broker 端没有该 group 信息 , 会根据 kafka 的参数\"auto.offset.reset\"的设置来决定从哪个位置开始消费 。
推荐阅读
- 小鱼人|如何在新赛季稳定上分?善于抓失误的小鱼人,值得认真练上一波
- 阴阳师|阴阳师SR川猿强度如何 是否值得抽卡 改变斗技环境 大佬的新玩具
- 手机游戏|梦幻西游手游:活力如何换金币 一切都已给出 就看你的选择
- 华佗|三国杀:两位\奶爸\,朱治与华佗比,强度如何呢?
- 亲朋上分|《亲朋上分》266391亲朋下分亲朋上下分永劫无间崔三娘技能介绍 崔三娘如何获得更多技能
- 金铲铲之战|金铲铲之战新赛季最强阵容:学院名流永恩,低分段玩家谨慎使用
- 激战2|MMORPG集体放大招?魔兽、FF14、激战2均使用End迎来主线剧情终章!
- s6|金铲铲之战:S6双城传说如何才能快速上手?基础知识很关键
- |冰雪传奇:平民玩家四转后如何打金
- 穿越火线|CF:传说武器再度上新,那王者、炫金该如何发展?