学习大数据开发,一定不可错过的大数据组件图谱——很齐全( 十 )
Phoenix是一个Java中间层 , 可以让开发者在Apache HBase上执行SQL查询 。 Phoenix完全使用Java编写 , 并且提供了一个客户端可嵌入的JDBC驱动 。 Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan , 并编排执行以生成标准的JDBC结果集 。
Pig是一种编程语言 , 它简化了Hadoop常见的工作任务 。 Pig可加载数据、转换数据以及存储最终结果 。 Pig最大的作用就是为MapReduce框架实现了一套shell脚本 , 类似我们通常熟悉的SQL语句 。
Hive是基于Hadoop的一个数据仓库工具 , 可以将结构化的数据文件映射为一张数据库表 , 并提供简单的sql查询功能 , 可以将sql语句转换为MapReduce任务进行运行 。 其优点是学习成本低 , 可以通过类SQL语句快速实现简单的MapReduce统计 , 不必开发专门的MapReduce应用 , 十分适合数据仓库的统计分析 。
SparkSQL的前身是Shark , SparkSQL抛弃原有Shark的代码并汲取了一些优点 , 如内存列存储(In-Memory Columnar Storage)、Hive兼容性等 。 由于摆脱了对Hive的依赖性 , SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便 。
推荐阅读
- 捉迷藏|?LOL世界赛“含金量”数据出炉:EDG仅排第六,IG稳居榜首
- 魔兽世界|《轨迹》新作明年发布! 法老控将针对NS平台开发游戏
- 手机游戏|CFHD:神秘组织为什么开发生化手雷呢?关键是为了赚更多钱
- 碧蓝航线|碧蓝航线SR重巡福煦数据详解 期待越高失望越大 强度平平无奇
- kramer|国服极地大乱斗数据上线,来看看胜率榜符合你的预期吗?
- 国服|LOLM:60天内如何从小白打到国服王者?这快捷径方法值得学习
- 大话西游|大话西游2这些召唤兽的天生技能是开发组拿来凑数的吗?实际效果完全没用
- 电子竞技|【欣然轻资讯G】《地平线2西部禁域》新老怪兽即将登场 开发者日志
- 桌游|48小时里,游戏开发能给这群大学生带来什么?
- 米莱狄|峡谷数据榜:分均输出TOP5,干将莫邪只排第四,米莱狄至今被误解