这就是字节跳动构建整个数据驱动飞轮的过程 ， 在这个过程中 ， 我们把“业务过程数字化”、“数字化协同”、“客观的分析评估”这三个沉淀下来 ， 固化成数据中台统一的能力 ， 去支持不同应用的数据优化 ， 同时中台能力 ， 还能对业务不同维度 ， 包括增长、体验、变现等等实现进一步的优化 。
下面我们就数据中台和应用优化 ， 进行展开 。
面向应用的数据中台
文章图片
刚才其实也提到了数据中台 ， 它最大的一个作用是帮助各个应用、业务基于数据驱动进行优化 。 所以做数据中台有一个很重要的理念 ， 那就是一定要面向应用来构建 。 从数据开始 ， 用数据来做验证 。 那么谈到数据的验证 ， 那最重要的其实就是A/B测试 。 之前我们也在不同场合强调过字节对于A/B测试的重视 ， 包括抖音、头条的起名也是通过A/B测试得来的 。
对于评估而言 ， 测试只是第一步 ， 我们还需要进一步对结果进行分析 ， 因此构建了相应的数据运营平台、智能数据洞察和客户数据平台等工具 ， 帮助产品和运营可以深入分析数据 。
而在底层 ， 面向每天产生的大规模、批量、实时的数据 ， 我们也建设了一套完整的数据采集、研发和治理的套件 ， 提升数据开发的效率 。
所以可以说在底层 ， 我们更关注数据开发的效率和规模 ， 而在上层 ， 我们关注的是整个产品和运营在做数据分析过程中的易用性、可交互性 。 要实现易用性、可交互性和底层规模和效率的一个连接 ， 我们需要一个非常强大的数据分析引擎 ， 那就是我们的ByteHouse 。
文章图片
ByteHouse起源于开源的clickhouse项目 ， 所以有了House的后缀 。 但它其实是根据字节跳动大规模数据场景 ， 进行了非常多的需求改造 ， 最终形成的一个云原生的大规模数据分析平台 。
刚刚提到 ， 数据驱动是字节跳动的重要技术理念 ， 每天我们有数十PB的新增数据 ， 有数万多人要从各种维度各种细节 ， 对这些数据进行分析 。 这里面就有很多性能问题、实时问题需要解决 ， 背后就是靠ByteHouse支持的 。
目前为止 ， ByteHouse几乎服务于字节内所有的业务线 ， 也是ABI系统、UBA系统、画像系统、A/B测试等分析系统的核心引擎 。 整体规模达到了三万台服务器 ， 每天查询有几千万次 。
文章图片
面对刚才说的大规模挑战 ， 我们在ByteHouse上主要做了五个层次的深度改造：
推荐阅读
- 区块|面向2030：影响数据存储产业的十大应用（下）：新兴应用
- 选型|数据架构选型必读：2021上半年数据库产品技术解析
- 殊荣|蝉联殊荣！数梦工场荣获DAMA2021数据治理三项大奖
- 数据|数智安防时代 东芝硬盘助力智慧安防新赛道
- OriginOS|当硬件驱动力逐渐放缓，手机还能更快吗？
- 技术|悦鲜活高端瓶装鲜奶市占第一 科技驱动营养再升级
- 平台|数梦工场助力北京市中小企业公共服务平台用数据驱动业务创新
- 数据|中标 | 数梦工场以数字新动能助力科技优鄂
- 建设|数据赋能业务，数梦工场助力湖北省智慧应急“十四五”开局
- 市民|大数据、人工智能带来城市新变化 科技赋能深化文明成效