首届Apache Hadoop技术社区中国Meetup举办( 三 )_近日

腾讯大数据工程师、Apache Hadoop Committer & PMC member陈怡以Ozone为例，介绍了Hadoop原生对象存储服务的解决方案。

Ozone是由Hadoop社区新发起的一个强一致性分布式对象存储服务，旨在解决目前HDFS Namenode的扩展性上限问题。Ozone 拥有和HDFS一样的可靠性，一致性和可用性，支持Hadoop文件系统接口，无缝对接YARN，SPARK 和HIVE。支持S3接口，提供CNCF CSI驱动。Ozone不仅适用于on-premise大数据环境，同时也是大数据上云，云端存储的一个很好的选择。

图2/4

陈怡在分享中介绍了Ozone的动机和目标，namespace管理和数据管理分离的构架，支持的对象存储的语义，对象读写流程，访问控制，用户可自定义的弹性网络拓扑结构，和Kubernetes集成的支持等等将要发布的0.5版本的新特性。

腾讯高级工程师、Hadoop YARN和Kubernetes社区活跃贡献者龚军、陈东东则介绍了腾讯大规模YARN集群实践。腾讯的Hadoop YARN集群在2014年就已经支持单集群8800台上的规模，每日调度上亿的container。龚军分享了优化调度器性能的一些基本思路和方法，包括改进热点代码的算法、降低时间复杂度、避免重复的查找与计算、减少锁竞争以及优化锁粒度等。通过这些调度性能优化，使YARN能满足大规模集群的吞吐量。