克拉克拉(KilaKila)：大规模实时计算平台架构实战( 三 )_：克拉克拉(KilaKila)：大规模实时计算

图四：克拉克拉实时计算框架

图五：LogHup 与 Storm关系

上图中红色虚线框中就是LogHub Storm Spout，每个Storm Topology会有一组Spout，同组内的Spout共同负责读取Logstore中全部数据。不同Topology中的Spout相互不干扰。每个Topology需要选择唯一的LogHub Consume Group名字来相互标识，同一 Topology内的Spout通过 Consumer Library来完成负载均衡和自动failover。Spout从LogHub中实时读取数据之后，发送至Topology中的Bolt节点，定期保存消费完成位置作为checkpoint到LogHub服务端。

四、实时数据存储

克拉克拉实时计算框架中存在诸多数据缓存、永久存储等场景需求。面对该问题，克拉克拉采用了阿里云OTS组件方案。OTS也称为表格存储（Table Store）是阿里云自研的NoSQL多模型数据库，提供海量结构化数据存储以及快速的查询和分析服务。表格存储的分布式存储和强大的索引引擎能够提供PB级存储、千万TPS以及毫秒级延迟的服务能力。通过使用OTS所提供的Java SDK开发包实现了Storm计算过程中所涉及到的数据存储需求。