BAT云计算大数据处理技术应用是什么样？Hadoop大数据处理告诉你( 三 )_本篇以大数据处理系统的三大关键要素一

第4章全面讲解了HDFS分布式文件存储系统的工作原理和机制，说明了使用命令行和代码对HDFS文件进行操作的方法，介绍了提高文件访问效率的若干重要优化方法，并梳理了目前解决HDFS中小文件存储和高可用性问题的解决方法。

第5章介绍了可用于快速数据检索的HBase技术，包括核心原理与架构，以及管理HBase中数据的方法，同时从传统关系型数据库使用者的角度讲解了如何在新型列存储数据库上进行设计与开发的方法，并梳理了提高HBase性能的重要方法。

第6章介绍了Hadoop中的高层数据分析工具Hive 和Pig结合具体实例讲解了这两个工具的使用方法，并从实际应用的角度对具有相似性的两者进行了差异对比，给出了选择建议。第7章阐述了复杂数据应用环境下的数据整合问题，详细介绍了适用于Hadoop与外部SQL数据整合的工具Sqoop ，以及Hadoop 平台内部的数据整合工具HCatalog 。

第8章介绍了集群管理者所关注的管理与维护体系和相关工具，从配置管理、集群监控、故障处理与安全性等角度梳理了目前常用的Hadoop集群管理工具，并进行了总结与对比。