大数据时代快速SQL引擎-Impala( 九 )
Impalad优化
上面介绍了整个查询大致的执行流程 , Impalad的后端使用的是C++实现的 , 这使得它可以针对硬件做一些特殊的优化 , 并且可以比使用JAVA实现的SQL引擎有更好的资源使用率 。 另外 , 后端的实现使用了LLVM , 它是一个编译器框架 , 可以在执行器生成并编译代码 。 官方测试发现使用动态生成代码机制可以使得后端执行性能提高1—5倍 。
在数据访问方面 , Impalad并没有使用通用的HDFS读取数据那一套流程 , 毕竟Impalad一般部署在DataNode上 , 访问数据完全不需要再走NameNode了 , 因此它使用了HDFS提供的Short-Circuit Local Reads机制 , 它提供了直接访问DataNode的方案 , 可以参考Hadoop官方文档和HDFS-347了解详情 。
最后Impalad后端支持对中文件格式和压缩数据的读取 , 包括Avro、RC、Sequence、Parquet , 支持snappy、gzip、bz2等压缩 , 看来Impala不支持可能也不打算支持ORC格式啦 , 毕竟有自家主推的Parquet , 而ORC则在Presto中广泛使用 。
部署方式
推荐阅读
- 捉迷藏|?LOL世界赛“含金量”数据出炉:EDG仅排第六,IG稳居榜首
- 李儒|三国杀:为什么叫李儒时代的骄傲,他到底有什么好骄傲的?厉害吗
- 梦幻西游|梦幻西游:诗情画意进入净台时代,郭无情买爆总17段野兽鞋
- s6|金铲铲之战:S6双城传说如何才能快速上手?基础知识很关键
- 帝国时代4|老外做的《帝国时代4》,究竟能有中国味吗?
- 碧蓝航线|碧蓝航线SR重巡福煦数据详解 期待越高失望越大 强度平平无奇
- 赛博朋克2077|王者荣耀:6种不花钱就能领皮肤碎片的方法!快速兑换心仪皮肤!
- 地下城与勇士|DNF:“全民云上”时代到来,一个过气小副本,究竟有何魅力?
- steam|目前Steam上什么游戏比较火?《帝国时代4》屈居第二
- kramer|国服极地大乱斗数据上线,来看看胜率榜符合你的预期吗?