克拉克拉(KilaKila):大规模实时计算平台架构实战( 二 )

克拉克拉(KilaKila):大规模实时计算平台架构实战

图一:日志采集流程图

通过Logtail来采集Nginx上用户行为的日志到Logstore只需要简单配置相应日志所在的机器组和日志的绝对路径,其从日志落盘服务器到采集工作的完成控制在1秒内。同时Logstore支持多功能的日志检索服务,可以为后续明确用户行为提供快捷的查询服务。其中我们将不同topic的日志存储在不同的Logstore中,供后续不同业务有针对性的实时消费。

克拉克拉(KilaKila):大规模实时计算平台架构实战

图二:克拉克拉topic日志结构图

克拉克拉(KilaKila):大规模实时计算平台架构实战

图三:日志检索

三、实时业务场景:

为满足克拉克拉用户社区目标,该业务主要针对APP用户在直播、小说、视频三大业务线100多种行为场景下完成用户经验值的实时计算,也就是数据值的增删改查。在实时计算层,克拉克拉选择了Storm开源的分布式实时大数据处理框架,而阿里云日志服务对于Storm有着非常好的兼容与支持。

推荐阅读