如何构建批流一体数据融合平台的一致性语义保证？(12)_：如何构建批流一体数据融合平台的一致

在该模式下，如果没有通过主键或下游应用进行额外地去重，同步过程当中的数据会在极端情况下出现重复，比如源端发送出一批数据已经成功，但 offset 持久化失败了，这样在任务恢复之后，之前已经发送成功的数据会再次重新发送一批，而下游对这种现象完全是不知情的。目的端也是如此，因为 consumer 的 offset 也是异步持久化，就会到导致有可能数据已经持久化到 Sink，但实际上 consumer offset 还没有推进。这是我们在应用原生的 Kafka Connect 框架里遇到最大的两个问题。