CoronaHadoop作业调度管理系统
Corona是Map-Reduce的改进版本,可以更好地利用集群资源,更适合Facebook的“多租户(Multi-Tenant)”环境。
在Facebook,Map-Reduce有一个单一的作业跟踪器(JobTracker),用来管理集群资源和跟踪每个作业的状态。而使用Corona,集群资源通过一个中央集群管理器来跟踪,每个作业都有自己的跟踪器,这些跟踪器只需跟踪一个作业。
Corona在Map-Reduce的基础上进行了如下改进:
- 可扩展性:单独的Corona JobTrackers来负责任务的跟踪,这为作业的数量和规模提供了更好的扩展性。
- 延迟:任务调度工作在push模型中。Corona Job Tracker推送资源请求到Cluster Manager,然后在收到Cluster Manager的许可后,推送任务到Corona Task Tracker。这种调度决策是在收到heartbeats时发生,对于小的作业来说,heartbeat模型相关的延迟就变得重要。
- 与Map-Reduce v1相比,Corona中的Fair Scheduler能更好地分配资源到资源池中。
- 由于调度开销较低,集群可以得到更好的利用。
中文介绍内容来自 iteye
评论
CoronaHadoop作业调度管理系统
Corona是Map-Reduce的改进版本,可以更好地利用集群资源,更适合Facebook的“多租户(Multi-Tenant)”环境。在Facebook,Map-Reduce有一个单一的作业跟踪器
CoronaHadoop作业调度管理系统
0
Schedulix企业作业调度系统
schedulix是一个开源的企业作业调度系统。突破标准的专业自动化IT流程,具备先进的系统环境。从简单的开始,在任何给定的时间,一个程序,通过复杂的过程,涉及数以千计的应用程序并相互依存。sched
Schedulix企业作业调度系统
0
Sundial.NET分布式作业调度系统
Sundial .NET功能齐全的开源分布式作业调度系统,可从最小的应用程序到大型企业系统使用。特性简化调度作业支持作业监视器支持作业执行器支持自定义作业存储组件(持久化)支持自定义策略执行内置周期
Sundial.NET分布式作业调度系统
0
kob中心化作业调度系统
kob是中心化的作业调度系统,定义了任务调度模型,实现了任务调度的统一管理和监控。主要特点客户端任务动态注册发现任务动态配置成作业任务执行负载均衡策略前置依赖1.Mysql2.Zookeeper3.J
kob中心化作业调度系统
0