基于CMM模型的HDFS负载均衡策略

doi:10.13190/j.jbupt.2014.05.005

北京邮电大学学报 ›› 2014, Vol. 37 ›› Issue (5): 20-25.doi: 10.13190/j.jbupt.2014.05.005

基于CMM模型的HDFS负载均衡策略

卢美莲¹, 朱亮亮²

1. 北京邮电大学网络与交换技术国家重点实验室, 北京 100876;
2. 华夏银行股份有限公司科技开发中心, 北京 100005

收稿日期:2013-12-18 出版日期:2014-10-28 发布日期:2014-10-28
作者简介:卢美莲(1967- ), 女, 副教授, E-mail: mllu@bupt.edu.cn.
基金资助:
国家科技重大专项项目(2012ZX03005010-003);国家高技术研究发展计划项目(2014AA01A706)

Load Balancing Strategy Based on CMM Model in HDFS

LU Mei-lian¹, ZHU Liang-liang²

1. State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, Beijing 100876, China;
2. Science and Technology Development Center, Hua Xia Bank Limited Company, Beijing 100005, China

Received:2013-12-18 Online:2014-10-28 Published:2014-10-28

摘要/Abstract

摘要：

为实现Hadoop分布式文件系统的负载均衡,并保证较低的负载迁移代价和数据传输代价,提出了确定环境下多阶段多目标(CMM)决策模型. 该模型以CPU、内存和磁盘剩余负载能力作为决策条件,以负载均衡效果、负载迁移代价和数据传输代价作为决策目标,依据决策节点间的影响关系构建有向无环图,通过多个决策阶段的决策,并计算方案效用确定最优均衡方案. 仿真实验结果表明,基于CMM模型的负载均衡策略能取得较好的负载均衡效果、负载迁移代价和数据传输代价.

关键词: 分布式文件系统, 负载均衡, 决策模型, 剩余负载能力

Abstract:

In order to balance the load of Hadoop distributed file system with lower load migrating cost and data transmission cost, a certainty multi-stage and multi-object (CMM) decision model was proposed. The model is a directed acyclic graph built on decision nodes, which adopts the remaining load capacities of CPU, memory and disk as decision preconditions, and also adopts load balancing effect, load migrating cost and data transmission cost as decision targets. By CMM model, the best balancing plan is determined by selecting results of multiple decision stages and computing the plan usage. Simulations show that the CMM based strategy can achieve better load balancing effect, load migrating cost and data transmission cost.

Key words: distributed file system, load balancing, decision model, remaining load capacity

中图分类号:

TN391

卢美莲, 朱亮亮. 基于CMM模型的HDFS负载均衡策略[J]. 北京邮电大学学报, 2014, 37(5): 20-25.

LU Mei-lian, ZHU Liang-liang. Load Balancing Strategy Based on CMM Model in HDFS[J]. JOURNAL OF BEIJING UNIVERSITY OF POSTS AND TELECOM, 2014, 37(5): 20-25.

[1]	苏扬, 魏连锁, 郭媛. 多目标融合势博弈无线自组网络拓扑控制算法[J]. 北京邮电大学学报, 2022, 45(4): 91-97.
[2]	苏扬魏连锁郭媛. 多目标融合的序数势博弈无线自组网络拓扑控制算法[J]. 北京邮电大学学报, 2022, 45(4): 105-111.
[3]	阎逸飞, 王智立, 邱雪松, 王嘉潞. Spark环境下基于数据倾斜模型的Shuffle分区优化方案[J]. 北京邮电大学学报, 2020, 43(2): 116-121.
[4]	刘保菊, 喻鹏, 丰雷, 邱雪松, 江昊. 电力SDN通信网中面向负载均衡的路由重构[J]. 北京邮电大学学报, 2020, 43(2): 16-22.
[5]	马庆刘, 喻鹏, 吴佳慧, 熊翱, 颜拥. 基于深度强化学习的综合能源业务通道优化机制[J]. 北京邮电大学学报, 2020, 43(2): 87-93.
[6]	王璇, 侯蓉晖, 徐伟琳. 低轨卫星网络动态路径切换技术[J]. 北京邮电大学学报, 2020, 43(2): 80-86,109.
[7]	王亚鑫, 杨大成. 一种基于C-RAN的BBU负载均衡优化算法[J]. 北京邮电大学学报, 2018, 41(5): 115-119.
[8]	朱斌, 孙斌. 结合分类回归树和K近邻的负载均衡预测算法[J]. 北京邮电大学学报, 2017, 40(s1): 93-97.
[9]	王英杰, 刘晓宁, 罗桓桓, 周桂平, 王艳茹. TWDM-PON中用户流量预测的波长分配方案[J]. 北京邮电大学学报, 2017, 40(6): 74-79.
[10]	唐伦, 梁荣, 陈婉, 张元宝. 密集网络下基于Self-Backhaul感知的用户接入负载均衡算法[J]. 北京邮电大学学报, 2017, 40(4): 60-67.
[11]	曲桦, 赵季红, 樊斌, 王密, 郭涯. 软件定义网络中应用蚁群优化的负载均衡算法[J]. 北京邮电大学学报, 2017, 40(3): 51-55.
[12]	王恒, 夏枢洋, 王平. 适用于工业无线WIA-PA网络的负载均衡成簇方法[J]. 北京邮电大学学报, 2017, 40(2): 29-35,42.
[13]	朱立才, 王汝传, 杨浩, 沙超. 一种能量有效的RPL多路径数据分发机制[J]. 北京邮电大学学报, 2016, 39(6): 82-87.
[14]	于俊洋, 胡志刚, 刘秀磊. HDFS平台上以能效为考量的小文件合并[J]. 北京邮电大学学报, 2015, 38(6): 34-38.
[15]	王颖, 熊文成, 李文璟. 基于最大独立链路集的随机虚拟网络映射算法[J]. 北京邮电大学学报, 2014, 37(s1): 8-11.

基于CMM模型的HDFS负载均衡策略

Load Balancing Strategy Based on CMM Model in HDFS

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价