云计算环境下MapReduce的资源建模与性能预测

doi:10.13190/j.jbupt.2014.s1.022

北京邮电大学学报 ›› 2014, Vol. 37 ›› Issue (s1): 115-119.doi: 10.13190/j.jbupt.2014.s1.022

云计算环境下MapReduce的资源建模与性能预测

乔媛媛, 刘芳, 凌艳, 尹劲松

北京邮电大学信息与通信工程学院, 北京 100876

收稿日期:2014-01-01 出版日期:2014-06-28 发布日期:2014-06-28
作者简介:乔媛媛（1987- ），女，博士生，E-mail：qyybupt@126.com；刘芳（1968- ），女，副教授，硕士生导师.
基金资助:
国家自然科学基金项目（61072061）；国家科技重大专项项目（2012ZX03002008）；高等学校学科创新引智计划项目（B08004）；中央高校基本科研业务费专项资金项目（2011RC0117）

Resource Modeling and Performance Prediction of MapReduce in Cloud Computing Environment

QIAO Yuan-yuan, LIU Fang, LING Yan, YIN Jin-song

School of Information and Communication Engineering, Beijing University of Posts and Telecommunications, Beijing 100876, China

Received:2014-01-01 Online:2014-06-28 Published:2014-06-28
Supported by:

摘要/Abstract

摘要：

为了预测云计算环境下的作业资源与时间消耗，根据MapReduce的资源消耗模式，量化了MapReduce作业的资源使用，提出了一种预估Hadoop的MapReduce作业的中央处理器（CPU）利用率和运行时间的模型. 使用多项式回归的方法，可以在云计算环境下，对不同配置的MapReduce作业的CPU利用率和运行时间作出预判. 使用不同配置条件下CPU密集型的Hadoop基准测试验证了该模型的有效性，最后使用误差平方和、平均绝对百分误差、标准差和确定系数4种评估方法计算了模型预测的精准度.

关键词: 云计算, MapReduce, 资源建模, MapReduce作业耗时建模, 性能预测

Abstract:

The prediction of job running time and computing resource is very important in production environment. However, the performance of cloud computing is not easy to be predicted due to complicated computing resources in environment of cloud platform. A model is proposed based on resource consumption patterns for predicting the running time and central processing unit (CPU) resources consuming of MapReduce job in cloud computing environment. This model comes from polynomial regression modeling to predict the performance of MapReduce job. A variety of criteria is used to evaluate the model. Experiment shows that this model could predict the running time and CPU resources consuming of MapReduce job with high accuracy.

Key words: cloud computing, MapReduce, resource modeling, MapReduce job time modeling, performance prediction

中图分类号:

TN311

乔媛媛, 刘芳, 凌艳, 尹劲松. 云计算环境下MapReduce的资源建模与性能预测[J]. 北京邮电大学学报, 2014, 37(s1): 115-119.

QIAO Yuan-yuan, LIU Fang, LING Yan, YIN Jin-song. Resource Modeling and Performance Prediction of MapReduce in Cloud Computing Environment[J]. JOURNAL OF BEIJING UNIVERSITY OF POSTS AND TELECOM, 2014, 37(s1): 115-119.

[1]	张志华, 王梦情, 毛文涛, 刘春红, 程渤. 基于时序相关性的云平台多负载序列联合预测[J]. 北京邮电大学学报, 2020, 43(4): 68-75.
[2]	仇利克, 刘竞, 孙中卫, 赵扬帆. 一种快速的特征选择框架和方法[J]. 北京邮电大学学报, 2019, 42(3): 127-132.
[3]	尹学渊, 陈兴蜀, 李辉, 陈林. 一种基于虚拟化的文件杀毒实现方法[J]. 北京邮电大学学报, 2018, 41(2): 50-55.
[4]	朱晓宁, 孙斌, 朱春鸽. 大规模云资源可靠性评价模型[J]. 北京邮电大学学报, 2017, 40(s1): 53-57.
[5]	徐九韵, 管超, 江丹. 一种面向信誉主观性和时变性的云服务信任管理方法[J]. 北京邮电大学学报, 2017, 40(5): 30-35.
[6]	刘靖, 吴海博, 王少帅, 贾垒. 着色Petri网模型驱动的云测试生成方法与实现[J]. 北京邮电大学学报, 2016, 39(5): 89-93,115.
[7]	肖丁, 贾亚璞, 石川. 云计算环境下的非线性能耗建模方法[J]. 北京邮电大学学报, 2016, 39(1): 107-111.
[8]	郭力争, 张翼飞, 赵曙光. 数据中心环境下能耗性能感知的优化方法[J]. 北京邮电大学学报, 2015, 38(s1): 72-76.
[9]	于俊洋, 胡志刚, 刘秀磊. HDFS平台上以能效为考量的小文件合并[J]. 北京邮电大学学报, 2015, 38(6): 34-38.
[10]	武斌, 林幸, 李卫东, 芦天亮, 张冬梅. 云计算下手机人工免疫恶意代码检测模型[J]. 北京邮电大学学报, 2015, 38(4): 34-38.
[11]	王婷, 许可, 王娜, 宋俊德. 云计算环境下可扩展的服务器优化选择策略[J]. 北京邮电大学学报, 2014, 37(s1): 83-86.
[12]	吴旭, 许晋, 李春文, 刘川意. IaaS云虚拟机eID可信验证系统[J]. 北京邮电大学学报, 2014, 37(5): 85-90.
[13]	柳兴, 袁超伟, 杨震, 胡仲伟. 移动云计算中基于移动代理的用户切换与接入控制[J]. 北京邮电大学学报, 2014, 37(2): 88-92.
[14]	宋杰, 李甜甜, 闫振兴, 朱志良. 数据密集型计算中负载均衡的数据布局方法[J]. 北京邮电大学学报, 2013, 36(4): 76-80.
[15]	刘川意, 方滨兴, 林杰. 基础设施云模块化解构[J]. 北京邮电大学学报, 2013, 36(2): 38-43.

云计算环境下MapReduce的资源建模与性能预测

Resource Modeling and Performance Prediction of MapReduce in Cloud Computing Environment

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价