如何正确使用Flink Connector？(16)
Q：如果 checkpoint 时间过长 ， offset 未提交到 kafka ， 此时节点宕机了 ， 重启之后的重复消费如何保证呢？
A：首先开启 checkpoint 时 offset 是 Flink 通过状态 state 管理和恢复的 ， 并不是从 kafka 的 offset 位置恢复 。 在 checkpoint 机制下 ， 作业从最近一次 checkpoint 恢复 ， 本身是会回放部分历史数据 ， 导致部分数据重复消费 ， Flink 引擎仅保证计算状态的精准一次 ， 要想做到端到端精准一次需要依赖一些幂等的存储系统或者事务操作 。
作者：中间件小哥
本文为云栖社区原创内容 ， 未经允许不得转载 。
推荐阅读
- 小鱼人|如何在新赛季稳定上分？善于抓失误的小鱼人，值得认真练上一波
- 阴阳师|阴阳师SR川猿强度如何 是否值得抽卡 改变斗技环境 大佬的新玩具
- 手机游戏|梦幻西游手游：活力如何换金币 一切都已给出 就看你的选择
- 华佗|三国杀：两位\奶爸\，朱治与华佗比，强度如何呢？
- 亲朋上分|《亲朋上分》266391亲朋下分亲朋上下分永劫无间崔三娘技能介绍 崔三娘如何获得更多技能
- 金铲铲之战|金铲铲之战新赛季最强阵容：学院名流永恩，低分段玩家谨慎使用
- 激战2|MMORPG集体放大招？魔兽、FF14、激战2均使用End迎来主线剧情终章！
- s6|金铲铲之战：S6双城传说如何才能快速上手？基础知识很关键
- |冰雪传奇：平民玩家四转后如何打金
- 穿越火线|CF：传说武器再度上新，那王者、炫金该如何发展？