云原生这个概念,也火了很多年了。它的本质是什么?我自己感觉,云原生就是软件研发体系向前发展的一个过程。
大家想下,计算机刚刚被发明的时候,人们写机器代码太麻烦了,程序员都怕麻烦,于是有了高级编程语言,编译器;人们自己定义各种数据存储格式,读写存储非常麻烦,还容易出错,于是有了数据库;人们已经写了软件,想用的时候,还得买机器,租机房,部署网络,太麻烦了,于是有了云计算。
那么,现在还有哪些事情太麻烦?还有很多,我上面提到了一些问题,其实现在也还有很大的进步空间。
所以,我觉得云原生,就是考虑云上的软件开发、维护全流程,去改进各个子系统,目标就是让开发人员更聚焦在业务本身,让云平台去解决其他的“麻烦事儿”。
基于敏捷开发的理念,字节跳动不断改进系统,就是希望让开发人员更聚焦在业务。这让我更加相信云原生这个理念,因为这个理念是有实践基础的。
高密度计算、数仓与底层硬件探索接下来再分享下我们在云实践过程中的三点经验。
第一点是高密度计算。业务系统有很多类型,有些系统用非常敏捷的方式是好的。另外有些系统比如推荐、搜索、广告、视频理解,这些系统的计算密度很高,服务粒度要稍微大一点。当我们在这些系统上做敏捷的时候,可能要选择用插件化的方式去加速它的开发和迭代,这是一类高密度计算的问题。
第二点,数仓的问题。字节跳动的核心技术理念是数据驱动和敏捷开发,我们需要全面的数据平台。我在2014年初刚入职的时候,发现公司已经有一个小时级可以看到结果的A/B测试平台,之后我们也一直都在践行数据驱动理念,让新的产品发布、新的功能可以很方便地做A/B测试。所以我们在敏捷开发的同时,需要保证数据平台有很高的数据准确性、一致性、稳定性。
这里列一些规模和效率的数据。现在我们数据仓库本身,不算视频和机器学习的数据,总量已经到了9500PB的规模,每天新增40PB左右,指标数超过27000个。在这样的一个体量之下,我们依然能够很快地去做新产品的数据支持。一个全新的产品线,大概需要两周时间就可以完成所有核心数据的分析,包括数据报表建设等工作。
文章插图
第三点,底层硬件的技术探索,这肯定是基础的事情,我们也有很多的投入,比如自研服务器、DPU、AI芯片、数据中心技术等等。这里不展开介绍,未来可以和大家做更多展示。
文章插图
以上就是我对字节跳动建设IT基础的一些思考。这些技术、这些实践全部都会在火山引擎云产品中开放给我们的客户,希望能够帮助更多的企业,这样也会产生更大的社会价值和商业价值。
【 火山引擎|字节跳动杨震原:三周做出一款APP,这朵「云」很关键】这就是我今天的分享,谢谢大家!
推荐阅读
- 任泽平|?华为搜索引擎上线后,又突然403禁止访问;任泽平微博、公众号被双双禁言;快手网红控诉快手:高管一批一批的换,不懂管理|雷峰早报
- 三七互娱|三七互娱投资副总裁林均全加盟字节 任抖音生态战略负责人
- 市场|中国搜索引擎市场竞争日趋激烈,后来者持续涌现!
- 搜索引擎|百度起诉人工刷量平台我爱网干扰搜索引擎算法,获赔200万元
- 用户|华为花瓣搜索引擎 Petal 在国内正式上线
- 鸿海|「PW热点」华为花瓣搜索引擎Petal Search已经面向国内用户开放
- 花瓣|华为花瓣搜索引擎Petal在国内正式上线,此前已在海外市场发布
- se华为花瓣搜索引擎Petal Search已经面向国内用户开放
- 张一鸣|中国富豪榜排名发布,字节跳动的创始人张一鸣升至第二,马云呢?
- 免费|字节跳动加码网文行业,市场竞争或将白热化