MapReduce架构的多控制节点改进

doi:10.13190/jbupt.201204.89.jinj

北京邮电大学学报 ›› 2012, Vol. 35 ›› Issue (4): 89-93.doi: 10.13190/jbupt.201204.89.jinj

MapReduce架构的多控制节点改进

金晶¹,王妍²,²,李昕³,陈山枝²

1北京邮电大学网络与交换技术国家重点实验室, 2河南省电力公司信阳供电公司 3电信科学技术研究院

收稿日期:2011-09-21 修回日期:2011-11-01 出版日期:2012-08-28 发布日期:2012-07-08
通讯作者: 金晶 E-mail:keyman_king@163.com
作者简介:金晶（1983-），男，博士生，Email：keyman_king@bupt.edu.cn 陈山枝（1969-），男，教授，博士生导师
基金资助:
国家高新技术研究发展计划项目（2010AA012501）；国家重点基础研究发展计划项目（2009CB320505）；国家科技重大专项项目（2010ZX03-005-002-02,2011ZX03005-004-02）；中央高校基础研究基金项目（2011PTB-00-34，2011PTB-01-01）

A New Multi-Master Framework of MapReduce

JIN Jing1,WANG Yan2,LI Xin1,CHEN Shan-zhi3

1State Laboratary of Switching and Networking Technology2Xinyang Power Supply Company of Henan Electronic Power Company 3China Academy of Telecommunication Technology

Received:2011-09-21 Revised:2011-11-01 Online:2012-08-28 Published:2012-07-08
Supported by:
;the Fundamental Research Funds for the Central Universities

摘要/Abstract

摘要：

MapReduce集群系统的单一控制节点结构使其存在着性能瓶颈问题，限制了集群的规模. 为较好地解决系统性能瓶颈问题，提出了MapReduce架构的多控制点改进. 新系统的实现基于Hadoop MapReduce，在对架构进行改进的同时，重新设计了信令系统，并增加了控制节点间的热备份机制. 因此，新架构除了能解决瓶颈问题外，还可以通过控制节点间的热备份策略有效地应对控制节点故障，降低故障对集群性能的影响，保证应用的正常执行. 

关键词: 云计算, MapReduce架构, 多控制节点, 性能瓶颈

Abstract:

In the existing MapReduce framework, the single master is the performance bottleneck. As a result, the size of the cluster is limited. In order to break the bottleneck, a multimaster framework is proposed in this paper. The implementation is based on Apache Hadoop MapReduce. The main framework and signaling system are redesigned to sustain more than one master. Meanwhile a doublemaster hot backup scheme is designed to solve single master failure, so that the new framework is able to reduce the impact of master failure.

Key words: cloud computing, mapreduce framework, multi-master, performance bottleneck

中图分类号:

TP316.4

金晶王妍李昕陈山枝. MapReduce架构的多控制节点改进[J]. 北京邮电大学学报, 2012, 35(4): 89-93.

JIN Jing,WANG Yan,LI Xin,CHEN Shan-zhi. A New Multi-Master Framework of MapReduce[J]. JOURNAL OF BEIJING UNIVERSITY OF POSTS AND TELECOM, 2012, 35(4): 89-93.

[1]	张志华, 王梦情, 毛文涛, 刘春红, 程渤. 基于时序相关性的云平台多负载序列联合预测[J]. 北京邮电大学学报, 2020, 43(4): 68-75.
[2]	尹学渊, 陈兴蜀, 李辉, 陈林. 一种基于虚拟化的文件杀毒实现方法[J]. 北京邮电大学学报, 2018, 41(2): 50-55.
[3]	朱晓宁, 孙斌, 朱春鸽. 大规模云资源可靠性评价模型[J]. 北京邮电大学学报, 2017, 40(s1): 53-57.
[4]	徐九韵, 管超, 江丹. 一种面向信誉主观性和时变性的云服务信任管理方法[J]. 北京邮电大学学报, 2017, 40(5): 30-35.
[5]	刘靖, 吴海博, 王少帅, 贾垒. 着色Petri网模型驱动的云测试生成方法与实现[J]. 北京邮电大学学报, 2016, 39(5): 89-93,115.
[6]	肖丁, 贾亚璞, 石川. 云计算环境下的非线性能耗建模方法[J]. 北京邮电大学学报, 2016, 39(1): 107-111.
[7]	郭力争, 张翼飞, 赵曙光. 数据中心环境下能耗性能感知的优化方法[J]. 北京邮电大学学报, 2015, 38(s1): 72-76.
[8]	于俊洋, 胡志刚, 刘秀磊. HDFS平台上以能效为考量的小文件合并[J]. 北京邮电大学学报, 2015, 38(6): 34-38.
[9]	武斌, 林幸, 李卫东, 芦天亮, 张冬梅. 云计算下手机人工免疫恶意代码检测模型[J]. 北京邮电大学学报, 2015, 38(4): 34-38.
[10]	王婷, 许可, 王娜, 宋俊德. 云计算环境下可扩展的服务器优化选择策略[J]. 北京邮电大学学报, 2014, 37(s1): 83-86.
[11]	乔媛媛, 刘芳, 凌艳, 尹劲松. 云计算环境下MapReduce的资源建模与性能预测[J]. 北京邮电大学学报, 2014, 37(s1): 115-119.
[12]	吴旭, 许晋, 李春文, 刘川意. IaaS云虚拟机eID可信验证系统[J]. 北京邮电大学学报, 2014, 37(5): 85-90.
[13]	柳兴, 袁超伟, 杨震, 胡仲伟. 移动云计算中基于移动代理的用户切换与接入控制[J]. 北京邮电大学学报, 2014, 37(2): 88-92.
[14]	宋杰, 李甜甜, 闫振兴, 朱志良. 数据密集型计算中负载均衡的数据布局方法[J]. 北京邮电大学学报, 2013, 36(4): 76-80.
[15]	刘川意, 方滨兴, 林杰. 基础设施云模块化解构[J]. 北京邮电大学学报, 2013, 36(2): 38-43.

MapReduce架构的多控制节点改进

A New Multi-Master Framework of MapReduce

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价