如何构建批流一体数据融合平台的一致性语义保证？(19)_：如何构建批流一体数据融合平台的一致

基于 MQ 模式的架构，针对大批量数据的同步，实际上还是容易出现性能瓶颈。主要瓶颈是在 MQ 的集群，我们并不能在客户环境里无限优化 Kafka 集群的性能，因为客户提供的硬件资源有限。所以一旦客户给定了硬件资源，Kafka 吞吐的上限就变为一个固定值。所以针对批量数据的同步，可能未来会考虑用内存队列替代 MQ。

同时，会采用更加灵活的 Runtime，主要是为了解决刚才提到的预分配资源池和共享资源池的统一管理问题。

另外，关于数据质量管理，实际上金融类客户对数据质量的一致性要求非常高。所以对于一些对数据质量要求非常高的客户，我们考虑提供一些后校验功能，尤其是针对批量同步。

-----------------------------------

本文作者：陈肃

原文链接：https://yq.aliyun.com/articles/719759?utm_content=g_1000079637

本文为云栖社区原创内容，未经允许不得转载。