|
|
|
| 基于Hadoop的SQL查询引擎性能研究 |
| 吴黎兵1， 邱 鑫1,2， 叶璐瑶1， 王晓栋2， 聂 雷1 |
| 1.武汉大学 计算机学院， 武汉； 2.英特尔 英特尔亚太研发中心， 上海 |
|
| 吴黎兵1， 邱 鑫1,2， 叶璐瑶1， 王晓栋2， 聂 雷1 |
| 1.武汉大学 计算机学院， 武汉； 2.英特尔 英特尔亚太研发中心， 上海 |
|
|
|
摘要 Apache Hadoop处理超大规模数据集有非常出色的表现，相比较于传统的数据仓库和关系型数据库有不少优势.为了让原有业务能够充分利用Hadoop的优势，SQL－on－Hadoop系统越来越受到工业界和学术界的关注.基于Hadoop的SQL查询引擎种类繁多，各有优势，其运算引擎主要包括三种：①传统的Map/Reduce引擎；②新兴的Spark引擎；③基于shared－nothing架构的MPP引擎.本文选取了其中最有代表性的三种SQL查询引擎—Hive、Spark SQL、Impala，并使用了一种类TPC－H的测试基准对它们的决策支持能力进行测试及评估.从实验结果来看，Impala和Spark SQL相对于传统的Hive都有较大的提高，其中Impala的部分查询比Hive快了10倍以上，并且Impala在完成查询所占用的集群资源也是最少的.然而若从稳定性、易用性、兼容性和性能等多个方面进行对比，并不存在各方面均最优的查询引擎，因此在构建基于Hadoop的数据仓库系统时，推荐采用Hive＋Impala或者Hive＋Spark SQL的混合架构.
|
|
|
收稿日期: 2016-02-25
|
| [1] |
张 桓 毓. 高考数学实战教学[J]. , 2016, 55(5): 0-0. |
| [2] |
王 志 斌. 抛物线焦点弦的性质[J]. , 2016, 55(5): 0-0. |
| [3] |
成 卫 东. 论高中数学直觉思维能力[J]. , 2016, 55(5): 0-0. |
| [4] |
李 春 平. 高中数学概念课教学[J]. , 2016, 55(5): 0-0. |
| [5] |
刘 勇. 如何提高高中数学学习效率[J]. , 2016, 55(5): 0-0. |
| [6] |
王 二 虎. 高中生数学思维障碍的成因及突破[J]. , 2016, 55(5): 0-0. |
| [7] |
王 俊 辉. 高中数学教学反思[J]. , 2016, 55(5): 0-0. |
| [8] |
廖 润 生. 中学数学教学思考[J]. , 2016, 55(5): 0-0. |
| [9] |
任 启 胜. 解析一次函数[J]. , 2016, 55(5): 0-0. |
| [10] |
廖 润 生. 常见数学题型教学策略[J]. , 2016, 55(5): 0-0. |
| [11] |
黄 梅 容. 如何培养小学生学习科学的兴趣[J]. , 2016, 55(5): 0-0. |
| [12] |
陈 永. 论小学生数学思维能力[J]. , 2016, 55(5): 0-0. |
| [13] |
黄 文 锋. 小学数学语言训练方法[J]. , 2016, 55(5): 0-0. |
| [14] |
李 芳. 如何培养小学低年级学生的数学语言表达能力[J]. , 2016, 55(5): 0-0. |
| [15] |
谭 玲 玲. 如何培养小学低段学生的数学学习习惯[J]. , 2016, 55(5): 0-0. |
|
|
|
|
