|
|
|
| 基于Hadoop的SQL查询引擎性能研究 |
| 吴黎兵1， 邱 鑫1,2， 叶璐瑶1， 王晓栋2， 聂 雷1 |
| 1.武汉大学 计算机学院， 武汉； 2.英特尔 英特尔亚太研发中心， 上海 |
|
| 吴黎兵1， 邱 鑫1,2， 叶璐瑶1， 王晓栋2， 聂 雷1 |
|
|
|
摘要 Apache Hadoop处理超大规模数据集有非常出色的表现，相比较于传统的数据仓库和关系型数据库有不少优势.为了让原有业务能够充分利用Hadoop的优势，SQL－on－Hadoop系统越来越受到工业界和学术界的关注.基于Hadoop的SQL查询引擎种类繁多，各有优势，其运算引擎主要包括三种：①传统的Map/Reduce引擎；②新兴的Spark引擎；③基于shared－nothing架构的MPP引擎.本文选取了其中最有代表性的三种SQL查询引擎—Hive、Spark SQL、Impala，并使用了一种类TPC－H的测试基准对它们的决策支持能力进行测试及评估.从实验结果来看，Impala和Spark SQL相对于传统的Hive都有较大的提高，其中Impala的部分查询比Hive快了10倍以上，并且Impala在完成查询所占用的集群资源也是最少的.然而若从稳定性、易用性、兼容性和性能等多个方面进行对比，并不存在各方面均最优的查询引擎，因此在构建基于Hadoop的数据仓库系统时，推荐采用Hive＋Impala或者Hive＋Spark SQL的混合架构.
|
|
|
收稿日期: 1900-01-01
|
| [1] |
祖启航1， 朱建青1， 宋传静2. 时间尺度上相空间中非Chetaev型非完整系统的Noether理论[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 23-27. |
| [2] |
唐子龙1， 韩新亚2， 李新兴1， 许志峰3， 万义超1. 2,3-二芳基1,3-苯并噁嗪的合成及对利什曼原虫CYP51活性的初步研究[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 52-55. |
| [3] |
阿依古丽·图尔荪1,2， 沙毕热木·斯热义力2， 买买提明·苏来曼2库热西·马木提汗1. 新疆金发藓科的新记录属——仙鹤藓属[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 67-71. |
| [4] |
袁 轩1， 袁国常2， 雷国营2， 张 宙2. u0-锥度量空间上新的映射不动点定理[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 7-11. |
| [5] |
彭海燕1， 陈伟炯2， 梁承姬1. 联合契约下的三级供应链应对突发事件策略研究[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 40-46. |
| [6] |
朱亚星1,2， 周桢津2,3， 洪永胜1,2， 周 勇1,2,刘目兴1,2， 于 雷1,2. 耦合高光谱数据估算土壤含水率的方法[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 123-129. |
| [7] |
滕升楠1,2,3， 冯 娟1,2,3， 李 宁1,2,3. 湖北省国内旅游客源市场竞争态及其成因分析[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 130-136. |
| [8] |
祁应楠， 武莉莉. 一维定常对流扩散反应方程的高精度紧致差分格式[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 1-6. |
| [9] |
李 莹1， 邓 军1， 李胜楠1， 闫 捷2， 张国孟1， 桂绍庸1， 张光旭1. W/Sn/Mg复合氧化物催化合成过氧乙酸的工艺研究[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 56-61. |
| [10] |
沈 浩1， 曹 郁2， 雷 明1， ZAHID Kashif Rafiq 1， 吴 雪1， 刘 珂1， 刘艳丽1， 刘金林1， 杨继红1， 赵浩斌1， 祁 超1. 荧光定量PCR测定木糖醇亚硒酸酯诱导人肝癌细胞系SMMC-7221细胞凋亡的机制研究[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 79-83. |
| [11] |
李振福1， 苗 雨2， 陈 晶3. 北极航线经济圈贸易网络的结构洞分析[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 100-107. |
| [12] |
王菊平， 郭东星， 曹红艳， 王淑玲， 张持晨. 关于Hadamardlike不等式[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 12-17. |
| [13] |
殷亚林1， 刘爱民2， 周祥东3. 基于高阶相关聚类的脱机手写文本行分割[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 18-22. |
| [14] |
王 筠. 含Kerr缺陷函数型光子晶体低阈值双稳态的对比研究[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 28-34. |
| [15] |
段永瑞， 代祥艳. 考虑损失厌恶和退货因素的双渠道定价策略[J]. 华中师范大学学报(自然科学版), 2017, 51(1): 84-92. |
|
|
|
|
