论文网
关于节点方面论文范文参考文献,与云计算文参考文献教师,云计算文参考文献培训相关论文答辩开场白
本论文是一篇关于节点方面论文答辩开场白,关于云计算文参考文献教师,云计算文参考文献培训相关学年毕业论文范文。免费优秀的关于节点及计算机应用及算法方面论文范文资料,适合节点论文写作的大学硕士及本科毕业论文开题报告范文和学术职称论文参考文献下载。
差的情况是系统启动备份任务后执行作业的时间甚至多于不启动备份任务所消耗的时间.图10SpeculativeCap对运行时间的影响
SlowTaskThreshold是一个用来判定正在执行的任务是否是慢任务的阈值.如果SlowTaskThreshold设置过小,调度器可能会将某些非慢的任务错误的判别为慢任务,从而使系统为这些非慢任务不必要的启动备份任务,浪费系统资源.如果SlowTaskThreshold设置过大,调度器可能会将某些慢任务认为是非慢的任务,忽略这些可能成为落后任务的慢任务,未能及时的为之启动备份任务,导致整个作业延迟完成.控制LOL调度器的其它参数不变,仅改变SlowTaskThreshold的大小,从10%开始,以10%的增量渐增直到100%,SlowTaskThreshold数值每一次变动时都运行相同任务10次,取响应时间的平均值,将运行时间走势曲线绘制如图11所示.
图11SlowTaskThreshold对运行时间的影响
可以图11看出,系统响应时间随着SlowTaskThreshold值的增加先减小然增大,当SlowTaskThreshold处于30%的位置时,系统响应时间最小,当SlowTaskThreshold值小于30%时,响应时间随SlowTaskThreshold的增大而减小,这是因为当SlowTaskThreshold较小时,系统中只要存在运行速度稍低于平均速度的任务时,但是这样的任务可能并不是慢任务,只是由于SlowTaskThreshold过小,被判别为慢任务,空闲的任务槽会为这样的任务启动备份任务,甚至大量的启动不必要的备份任务,与其他任务竞争使用系统资源,导致其他任务执行的速度下降,延长了整个系统的响应时间.当SlowTaskThreshold值大于30%时,响应时间并未继续减小而是缓慢的增加.这是因为随着SlowTaskThreshold增大,调度器判定出的慢任务逐渐减少,甚至会把慢任务误判为非慢任务,系统不会为真正的慢任务启动备份任务,调度器失去了推测执行任务的意义,落后任务的完成时间决定了整个作业的完成时间,导致整个系统的响应时间变大.
SlowTrackerThreshold是一个用来判定系统中的TaskTracker是否属于执Map任务慢的TaskTracker,或者执行Reduce任务慢的TaskTracker的阈值.如果SlowTrackerThreshold设置过大,调度器可能不能探测到执行Map任务慢的TaskTracker和Reduce任务慢的TaskTracker,也即有可能在慢TaskTracker上启动备份任务,白白浪费了系统资源,甚至降低了整个系统的速度.如果SlowTrackerThreshold设置过小,可能会将部分执行任务快的TaskTracker判定为慢的TaskTracker,使系统中没有可用的节点来为落后任务启动备份任务,延长了整个系统的响应时间.控制LOL调度器的其它参数不变,仅改变SlowTrackerThreshold的大小,从10%开始,以10%的增量渐增直到100%,SlowTrackerThreshold数值每一次变动时都运行相同任务10次,取响应时间的平均值,将运行时间走势曲线绘制如图12所示.
从图12可以看出,当SlowTaskThreshold处于20%的位置时,系统响应时间最小,当SlowTaskThreshold值小于20%时,响应时间随SlowTaskThreshold的增大而减小,这是因为当SlowTaskThreshold较小时,某个空闲TaskTracker的速度稍低于平均速度,则可能判定此TaskTracker为慢的TaskTracker,从而不能在其上启动备份任务,在实验环境中节点较少时尤为明显,所以此时随SlowTaskThreshold的增大,响应时间越来越理想.当SlowTaskThreshold值大于32%之后,响应时间并未继续减小而是缓慢的增加.这是因为随着SlowTaskThreshold增大,调度器把更多TaskTracker错误地判定为非慢的节点,可能会在慢的TaskTracker上执行备份任务,作无用的备份任务,这样的启动备份任务是徒劳的,甚至会占用很多系统资源,导致其他任务的执行速率下降,影响整个系统的吞吐率.当SlowTaskThreshold增加到50%时,响应时间达到峰值,任务槽的数量不能为所有的落后任务启动备份任务,备份任务与非备份任务争夺系统内的资源,使得系统的响应时间达到最大.SlowTaskThreshold继续增大,响应时间有所下降,这是由于随着SlowTaskThreshold的继续增大,被判定为慢的TaskTracker数量逐渐减少,就会有更多节点启动备份任务,在为慢任务中的落后任务启动备份任务之后,系统的响应时间会有所回落.
图12SlowTrackerThreshold对运行时间的影响
5结束语
本文给出的LOL调度算法参考了LATE调度算法的优点,即采用为完成当前任务所需剩余时间最长的落后任务启动备份任务的方式,来达到推测执行任务的目的,降低整个作业的运行时间,提高系统资源的利用率.同时,采用了更精确的任务进度探测方式,解决了Hadoop自带调度算法对任务剩余时间估计不够准确的缺陷,能够比较准确的估计出任务的剩余时间,从而正确的找出落后任务.给出区分快节点和慢节点的方法,进一步将节点细分为执行Map任务慢和执行Reduce任务慢的节点,使得为落后任务启动备份任务的效率增加,提高了系统资源的利用率.LOL调度器由于是基于数据局部性的推测式任务调度算法,更合理的利用了大规模计算集群的机架之间读取数据会占有系统较多的稀缺资源—网络带宽,从而满足移动计算比移动数据更经济这一条件,降低了网络拥塞的可能性,加快任务的执行效率,提高了系统的吞吐率.
参考文献:
1]VAQUEROLM,RODEROMerinoL,CACERESJ,etal.Abreakinthecloud:TowardsaCloudDefinition[J].ACMSIGCOMMComputerCommunicationReview,2016,39(1):50-55.
[2]GUNARAYHNETandWUTL,QIU,etal.MapReduceintheCloudsforScience:2ndIEEEInternationalConferenceonCloudComputingTechnologyandScience,2016[C].NEWYork:IEEESociety,2016:565-572.
[3]OWENO'Malley.IntroductiontoHadoop[EB/OL].2016-6-10.wiki.apache./hadoop-data/attachments/HadoopPresentations/attachments/ahooHadoopIntro-apachecon-us-2016.pdf.
[4]PATRICKPantel.DataCatalysis:FacilitatingLarge-ScaleNaturalLanguageDataProcessing:ProceedingsoftheInternationalSymposiumonUniversalCommunication(ISUC-07),2007[C].Kyoto,2007:201-204..
[5]HadoopFairScheduler.2016.3.10.hadoop.apache./mon/docs/current/fair_scheduler..
[6]HadoopCapacityScheduler.2016.3.10.hadoop.apache./mon/docs/current/capacity_scheduler..
[7]ZAHAFIAM,KONWINSKIA,JOSEPH.ImprovingMapReduceperformanceinheterogeneousEnvironments:Procofthe8thUsenixSymponOperatingSystemsDesignandImplement
关于节点方面论文范文参考文献,与云计算文参考文献教师,云计算文参考文献培训相关论文答辩开场白参考文献资料：