论文网
关于节点方面论文范文参考文献,与云计算文参考文献教师,云计算文参考文献培训相关论文答辩开场白
本论文是一篇关于节点方面论文答辩开场白,关于云计算文参考文献教师,云计算文参考文献培训相关学年毕业论文范文。免费优秀的关于节点及计算机应用及算法方面论文范文资料,适合节点论文写作的大学硕士及本科毕业论文开题报告范文和学术职称论文参考文献下载。
eCap,那么在请求任务的节点所在的机架上,计算该机架上所有正在执行的Map任务的剩余时间,由JobTracker维护一个名为QueueSlowMapRack的队列.该队列中按照剩余时间对正在执行的Map任务进行排序,选择QueueSlowMapRack中剩余时间最长且满足慢任务阈值SlowTaskThreshold的Map任务,并为这个Map慢任务启动备份任务.如果请求新任务的节点被判定为执行Reduce任务快的节点,并且当前整个集群中的备份任务数量小于SpeculativeCap,那么在请求任务的节点所在的机架上,计算该机架上所有正在执行的Reduce任务的剩余时间.由JobTracker维护一个名为QueueSlowReduceRack的队列,该队列中按照剩余时间对正在执行的Reduce任务进行排序,选择QueueSlowReduceRack中剩余时间最长且满足慢任务阈值SlowTaskThreshold的Reduce任务,并为这个Reduce慢任务启动备份任务.如果QueueSlowReduceRack队列中没有满足慢任务阈值SlowTaskThreshold的Reduce任务,则计算在请求任务的节点所在机架之外的其他机架上所有正在执行的Reduce任务的剩余时间,由JobTracker维护一个名为QueueSlowReduceRackoff的队列,该队列中同样按照剩余时间对正在执行的Reduce任务进行排序,选择QueueSlowReduceRackoff中剩余时间最长且满足慢任务阈值SlowTaskThreshold的Map任务,并为这个Reduce慢任务启动备份任务.LOL调度算法流程如图5所示.
图5基于数据局部性的推测式任务调度算法流程
5实验设计及结果分析
本文的实验环境是在实验室搭建了由5台异构PC服务器构成的Hadoop集群,在集群中的节点的内存容量方面以及CPU处理速度等方面都存在着很大差异,用来模仿异构环境.为了测试算法的数据局部性对性能的影响,使得节点之间能够跨机架读取数据,设定了3个机架,一个机架设置1台物理机,另外2个机架分别由2台物理机组成.在每台机器上设置2个或者3个虚拟机,增加实验的节点数量,每台虚拟机的内存设置为1GB或2GB,对应的硬盘设置为20GB或40GB.虚拟机操作系统都为Ubuntu11.10,在所有的Ubuntu系统中安装的JDK版本为1.7,在各个节点之上使用的Hadoop的版本号为1.0.2.
| 有关论文范文主题研究: | 关于节点的论文范文资料 | 大学生适用: | 学术论文、硕士学位论文 |
|---|---|---|---|
| 相关参考文献下载数量: | 51 | 写作解决问题: | 写作资料 |
| 毕业论文开题报告: | 论文提纲、论文摘要 | 职称论文适用: | 技师论文、职称评初级 |
| 所属大学生专业类别: | 写作资料 | 论文题目推荐度: | 最新题目 |
本文利用Hadoop的自带的作业实例WordCount来评估各种调度器的性能,WordCount是一种用来计算输入文件里每个词汇出现的频率的作业.数据来源是维基百科(Wikipedia)的数据库,在Wikipedia的数据库中下载了一个1.4G的文本格式的搜索记录,利用WordCount作业来统计这个文件之中显示的用户搜索过的关键字的出现频率.执行WordCount时,在每个TaskTracker上开启两个Map任务槽和Reduce任务槽,这样,每个TaskTracker上可同时执行两个Map任务和两个Reduce任务.通过统计每种调度算法执行WordCount作业处理该文件所耗用的运行时间来对各个调度算法进行对比评估.
5.1LOL调度器的性能评估
用调度器LOL替换Hadoop1.0.2原有的LATE调度器源,在LOL调度器中已经具有了本文给出的落后任务判定和慢节点判定等算法.将未启动推测式任务的Hadoop调度器,Hadoop原有的推测式任务调度器,LATE调度器,以及LOL调度器分别运行10次,记录出其最短执行时间,最长执行时间和平均执行时间,来对比评估LOL调度器的性能.
图6存在慢节点的运行时间
在图6中利用Hadoop原有的推测式任务调度器的运行时间作为参照.可以看出,未启动推测式任务调度算法的调度器的效率很低,平均运行时间是Hadoop原有的推测式任务调度器的1.87倍,这是因为系统设置了两个明显的慢节点,这两个节点上所执行的任务的速度很低,导致系统中产生了落后任务,而这种调度器不为落后任务启动备份任务,整个作业必须要等到慢节点上的落后任务执行完成,所以极大的延长了整个作业的运行时间,导致整个系统的响应时间下降很多.LATE调度器的平均响应时间是Hadoop原有的推测式任务调度器的响应时间的87%.LOL调度器针对LATE调度器的不足做出了改进,不依赖传统的同构集群的不合理的假设,对异构系统的适应能力更强,剩余时间估计更加准确,能较为合理的判定落后任务与慢节点,并且考虑到数据局部性问题,从图6中可以看出,LOL调度器的平均响应时间是Hadoop原有的推测式任务调度器的70%.
图7存在慢节点的运行时间变化趋势
图7为四种调度器运行10次相同任务的时间走势图,可以看出,在异构环境下存在明显慢节点时,未启动推测式任务的调度器很不稳定,调度算法的折线图波动较大.而另外三种调度都启动了备份任务,能较好的适应异构环境中出现明显慢节点的情况,LOL调度器明显要比其他几种调度器适应性更强,更为稳定.
若不在系统中设置明显的慢节点,所有节点都正常运行,选择四种调度方式进行调度实验,结果如图8,9所示.
图8不存在慢节点的运行时间
与存在明显慢节点的异构系统对比,在不存在明显慢节点的系统中各个调度器运行时间对比图有着很大的变化,四种调度器都很大程度的缩短了运行时间,最为显着的是未启动备份任务的调度器,LOL调度器的效率仍然是最优的,因为系统中虽然不存在明显慢的节点,但也会有某个任务成为落后任务的可能.
图9不存在慢节点的运行时间变化趋势
5.2LOL调度器中各参数对性能的影响
LOL调度器中的各个参数对整个调度器的性能有着很大的影响,设置合理的参数,能够有效提高系统效率.本节对LOL调度器中的几个主要的参数与Hadoop系统性能的关系进行了评估,包括SpeculativeCap,SlowTaskThreshold,SlowTrackerThreshold,利用已有的推荐值,固定其它的参数不变,只逐步改动需要评估的参数的数值,记录每次实验的运行时间,分析各个数值对运行时间的映像,从而确定合理高效的参数配置.测试参数对性能影响的实验是在设置了明显慢的节点的环境中进行的,因为在存在明显慢节点的环境中能更好的发挥推测式任务调度的作用,这样能充分检验到LOL调度器的性能.
让LOL调度器的其它参数不变,仅改变SpeculativeCap的大小,从10%开始,以10%的增量渐增直到100%,SpeculativeCap数值每一次变动时都运行相同的任务10次,取响应时间的平均值,将运行时间走势曲线绘制如图10所示.
从图10可以看出,系统的响应时间随着SpeculativeCap值的增加先减小然增大,当SpeculativeCap处于20%的位置时,系统响应时间最小,当SpeculativeCap值小于20%时,响应时间随SpeculativeCap的增大而减小,当SpeculativeCap值大于20%时,响应时间并未继续减小而是缓慢的增加.这是因为调度器启动备份任务也会消耗一些系统资源,占用其他节点上的空闲任务槽,执行备份任务也会占用集群的网络带宽,节点上的CPU与磁盘等资源,最
关于节点方面论文范文参考文献,与云计算文参考文献教师,云计算文参考文献培训相关论文答辩开场白参考文献资料：