北京邮电大学学报 ›› 2013, Vol. 36 ›› Issue (4): 76-80.doi: 10.13190/jbupt.201304.76.songj
数据密集型计算中负载均衡的数据布局方法
宋杰, 李甜甜, 闫振兴, 朱志良
- 东北大学 软件学院, 沈阳 110819
Load-Balanced Data Layout Approach in Data-Intensive Computing
SONG Jie, LI Tian-tian, YAN Zhen-xing, ZHU Zhi-liang
- Software College, Northeastern University, Shenyang 110819, China
摘要:
广泛用于数据密集型计算的MapReduce模型将计算部署到数据端并行执行,数据布局将不再只影响存储本身,还影响计算效率;节点上存储数据的特征决定该节点上任务的执行效率,负载均衡从传统的服务器管理或任务调度研究转变成为以提高并行性为目的的数据布局研究,为此,分析了数据密集型计算和MapReduce环境中数据布局的特点,提出了负载均衡的数据布局目标,并提出在特定环境下实现负载均衡的数据布局方法,最后通过实验证明了数据布局目标和数据布局方法的有效性. 理论和实验结果证明,新提出的布局方法能有效地提高MapReduce应用的并行性,优化其执行效率.
中图分类号: