克拉克拉(KilaKila):大规模实时计算平台架构实战( 二 )
图一:日志采集流程图
通过Logtail来采集Nginx上用户行为的日志到Logstore只需要简单配置相应日志所在的机器组和日志的绝对路径,其从日志落盘服务器到采集工作的完成控制在1秒内。同时Logstore支持多功能的日志检索服务,可以为后续明确用户行为提供快捷的查询服务。其中我们将不同topic的日志存储在不同的Logstore中,供后续不同业务有针对性的实时消费。
图二:克拉克拉topic日志结构图
图三:日志检索
三、实时业务场景:
为满足克拉克拉用户社区目标,该业务主要针对APP用户在直播、小说、视频三大业务线100多种行为场景下完成用户经验值的实时计算,也就是数据值的增删改查。在实时计算层,克拉克拉选择了Storm开源的分布式实时大数据处理框架,而阿里云日志服务对于Storm有着非常好的兼容与支持。
推荐阅读
- 交易|原神崩坏3周年庆刚过,米哈游就又扩大规模,有新办公楼了?
- 我的世界|“我的天!赶紧去领披风!”《我的世界》开启大规模账号迁移!
- 蔡文姬|蔡文姬玩家有福了!辅助装大规模改版,大部分辅助都能吃到红利
- 炉石传说|炉石传说:下周有平衡补丁,退环境会有大规模削弱,抱歉回归有望
- 卡牌|三代雷影大规模降临,段位赛出场率明显提升,雷铠反手莽到极致!
- 动视暴雪|厂长复出引大规模骂战!WE粉丝怒斥其为叛徒:为什么偏偏是这一场
- 魔兽世界|魔兽TBC:坦克拉不住DPS火力全开?其实7成高端MT带了龙脊奖章
- DOTA|TI赛事史上最大规模!五大战队同时出征!最有希望夺冠的一年
- 腾龙镜头|传奇世界:史上最大规模的围剿—星月皇后战腾龙!
- 马嵬驿|这就是剑三史上最大规模的大战吗?唯满侠马嵬驿之战规模达万人!