克拉克拉(KilaKila):大规模实时计算平台架构实战
科技频道提示您本文原始标题是:克拉克拉(KilaKila):大规模实时计算平台架构实战
一、产品背景:
克拉克拉(KilaKila)是国内专注二次元、主打年轻用户的娱乐互动内容社区软件。KilaKila推出互动语音直播、短视频配音、对话小说等功能,满足当下年轻用户个性化、碎片化的文娱需求。App用户等级体系作为克拉克拉社区化打造的核心业务,在增强社区活跃度、提高产品留存方面起到至关重要的作用。随着业务规模增长,海量用户行为日志实时采集与计算的瓶颈也日益突出,由于单台服务器的处理能力有限,海量数据分析需要分布式计算模型来替代。通过技术调研与架构选型,最终解决方案采用基于阿里云日志服务(Log Service)与 开源技术Storm为组合的基础架构。
二、实时日志采集:
LogHub 支持客户端、网页、协议、SDK/API等多种日志无损采集方式,所有采集方式均基于Restful API实现,除此之外也可以通过API/SDK实现新的采集方式。对于克拉克拉来说,业务日志会实时输出到本地服务器,通过在日志服务器部署Logtail,即可完成日志的无丢失采集。因业务场景不同,对日志可以根据不同的Topic进行分类,从而满足不同业务的个性化计算需求。此外,LogHup可通过配置自带的投递服务,将海量日志同步到数据仓库中永久存储。
推荐阅读
- 交易|原神崩坏3周年庆刚过,米哈游就又扩大规模,有新办公楼了?
- 我的世界|“我的天!赶紧去领披风!”《我的世界》开启大规模账号迁移!
- 蔡文姬|蔡文姬玩家有福了!辅助装大规模改版,大部分辅助都能吃到红利
- 炉石传说|炉石传说:下周有平衡补丁,退环境会有大规模削弱,抱歉回归有望
- 卡牌|三代雷影大规模降临,段位赛出场率明显提升,雷铠反手莽到极致!
- 动视暴雪|厂长复出引大规模骂战!WE粉丝怒斥其为叛徒:为什么偏偏是这一场
- 魔兽世界|魔兽TBC:坦克拉不住DPS火力全开?其实7成高端MT带了龙脊奖章
- DOTA|TI赛事史上最大规模!五大战队同时出征!最有希望夺冠的一年
- 腾龙镜头|传奇世界:史上最大规模的围剿—星月皇后战腾龙!
- 马嵬驿|这就是剑三史上最大规模的大战吗?唯满侠马嵬驿之战规模达万人!