| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
jopen
11年前发布

Hadoop作业调度管理系统 - Corona

        Corona,这是 非死book 用来调度和管理大规模 Hadoop 作业的系统。

        Corona 是 Map-Reduce 的改进版本,可以更好地利用集群资源,更适合 非死book 的“多租户(Multi-Tenant)”环境。

        在 非死book,Map-Reduce 有一个单一的作业跟踪器(JobTracker),用来管理集群资源和跟踪每个作业的状态。而使用 Corona,集群资源通过一个中央集群管理器来跟踪,每个作业都有自己的跟踪器,这些跟踪器只需跟踪一个作业。

Hadoop作业调度管理系统:Corona

        Corona 在 Map-Reduce 的基础上进行了如下改进:

  • 可扩展性:单独的 Corona JobTrackers 来负责任务的跟踪,这为作业的数量和规模提供了更好的扩展性。
  • 延迟:任务调度工作在 push 模型中。Corona Job Tracker 推送资源请求到 Cluster Manager,然后在收到 Cluster Manager 的许可后,推送任务到 Corona Task Tracker。这种调度决策是在收到 heartbeats 时发生,对于小的作业来说,heartbeat 模型相关的延迟就变得重要。
  • 与 Map-Reduce v1 相比,Corona 中的 Fair Scheduler 能更好地分配资源到资源池中。
  • 由于调度开销较低,集群可以得到更好的利用。

        项目地址https://github.com/非死book/hadoop-20/tree/master/src/contrib/corona

来自: www.iteye.com

 本文由用户 jopen 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1352464150433.html
Hadoop 分布式/云计算/大数据