| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
alen9988
9年前发布

niubi-job一个分布式的任务调度框架

   <h3>niubi-job迎来第一次重大优化</h3>    <p>niubi-job是一款专门针对定时任务所设计的分布式任务调度框架,它可以进行动态发布任务,并且有超高的可用性保证。</p>    <p>有多少人半夜被叫起来查BUG,结果差到最后发现,是因为某个定时任务挂了导致出了问题?</p>    <p>有了niubi-job,你再也不用担心这个问题!</p>    <p>又有多少人因为要发布一个新的定时任务,为了不影响线上的运行,只能等到半夜再去发布应用?</p>    <p>有了niubi-job,你可以随时发布你的定时任务而且不会影响当前任务的运行!</p>    <p>是不是很兴奋呢?</p>    <p>还有更兴奋的呢,那就是niubi-job发布了全新的0.9.4.2版本,这可是niubi-job历史上一次重大版本的变更,前后共历时将近一个月才完成。虽然这中间由于本人换工作,拖延了一些时间,但niubi-job从零到有,整个第一个版本的开发才花了本人大约三个星期的时间,而本次变更就花费了一个月的时间,可见这一次变更有多么重大了吧。</p>    <p>接下来,咱们就看看这个版本都有哪些优化吧。</p>    <h3>0.9.4.2最大的优化——性能优化</h3>    <p>niubi-job发布任务的方式是在Web控制台上传jar包,在Web控制台上面操作任务的启动、暂停以及重启。</p>    <p>而之前niubi-job的设计有一个缺陷,那就是每一个jar包都会对应一个线程池(默认线程池的大小为10个线程)。一种可能的情况是,你先发布了task-1.0.jar,里面包含了1到10一共十个任务。后来你修改了1号任务,于是你上传了task-1.1.jar,这个时候,你的task-1.0.jar对应了一个线程池,里面跑了9个任务,而你的task-1.1.jar也对应了一个线程池,里面只跑了一个任务。</p>    <p>更可怕的是,你先后陆续把10个任务都发布了一遍,一直到task-1.10.jar。这个时候,将会被启动10个线程池(共计100个线程),但是每一个线程池只跑一个任务(有90个线程在空转),这是一种很大的资源浪费。</p>    <p>第一次niubi-job在发布时,为了尽快推出,并没有将不同jar包的线程池合并,因为在类加载的过程中会有一些复杂性。</p>    <p>如今好了,niubi-job已经正式将线程池合并,哪怕你有成千上万个jar包,一个任务集群节点都只会有一个线程池。也就是说,针对上面的情况,假设你将线程池的大小设定为20,那么将有10个任务在运行,另外10个线程等待新的任务加入。如此一来,很显然在极大程度上提升了niubi-job的负载能力。</p>    <p>是不是很酷呢?</p>    <h3>0.9.4.2版全新console界面与教程</h3>    <p>上面只是针对niubi-job性能上的优化,本次版本还针对console界面做了一些美化,接下来就一起欣赏一下吧。</p>    <p>使用默认的用户名admin和密码123456登录即可。</p>    <p><img src="https://simg.open-open.com/show/1abcf65804d6c583c4988f683c15c529.jpg"></p>    <p>登录以后你可以看到下图,这是选择模式的界面。</p>    <p><img src="https://simg.open-open.com/show/c4ba71e966dfb49824a28f83364c4b8d.jpg"></p>    <p>niubi-job支持主从和主备模式,两种模式的操作界面是一模一样的,因此我们这里拿主从模式来做例子,选择“master-slave”模式进入下图。</p>    <p><img src="https://simg.open-open.com/show/ecdd57fe19b9d4156ffcf5a88fa00aba.jpg"></p>    <p>本人给每个菜单都注明了它的作用,通常情况下,我们的操作顺序是这样的。</p>    <p>1、上传你的任务jar包。</p>    <p><img src="https://simg.open-open.com/show/1ee517f1db7ed199fde000086ec74a5b.jpg"></p>    <p>2、点击“upload”上传成功后,你会进入如下界面。</p>    <p><img src="https://simg.open-open.com/show/1fc5f563d40082879deb4529b5f1f99f.jpg"></p>    <p>3、这个时候,如果你想对任务进行操作,请点击“schedule”按钮,进入如下界面。</p>    <p><img src="https://simg.open-open.com/show/b76791cbec2a42e84daebb69ab0d08cf.jpg"></p>    <p>4、通常情况下,你只需要填写下cron表达式,选择一下jar包版本,点击“execute”按钮,即可启动一个任务。启动以后,你过几秒刷新一下就可以看到以下界面。(友情提醒:如果你的任务状态一直处于“executing”状态,你可以手动点击“synchronize”按钮来手动同步任务状态)</p>    <p><img src="https://simg.open-open.com/show/ad04a906e9248b39f16bf342a1f0e713.jpg"></p>    <p>到此,其实你已经启动了一个任务,如果你想暂停任务,或者更改它的cron表达式并且重启任务,那么只需要继续点击“schedule”按钮进行操作即可。</p>    <h3>console的一些其它功能</h3>    <p>当你启动完任务后,你进入操作日志界面,可以看到如下操作日志。(友情提醒:本文只有一个start操作,其余两个操作是本人私底下操作产生的,不用惊讶哦)</p>    <p><img src="https://simg.open-open.com/show/1997e89d39357d924a75173174ba6866.jpg"></p>    <p>另外,niubi-job支持多jar包版本,因此当你只上传一个jar包时,所有任务列表是这样的。</p>    <p><img src="https://simg.open-open.com/show/9e96493fab26b2c9db04f07aac39015a.jpg"></p>    <p>当你再次上传一个1.1版本的jar包时,所有任务的列表是这样的。</p>    <p><img src="https://simg.open-open.com/show/4982cb3c1733246a74a667ba790f0adb.jpg"></p>    <p>这两个jar包里的任务是一样的,都是Job1和Job2。但是一般情况下,1.1版本你可能对Job1或者Job2做了一些改动。这个时候,在所有任务列表会显示你所有的任务,以任务的唯一标识和jar包名称为联合主键。但是在可操作的任务列表里,会自动按照任务的唯一标识去重,也就是说,不管你上传多少个版本的Job1和Job2,在可操作的任务列表里,永远都只有一个Job1和Job2。</p>    <p>就像下图这样。</p>    <p><img src="https://simg.open-open.com/show/4e4e5dd3b0aba3655f648336239fa08a.jpg"></p>    <p>如果你给一个任务上传了多个版本的jar包,那么在你调度该任务时,你可以选择你的jar包版本。就像下图一样。</p>    <p><img src="https://simg.open-open.com/show/ec0673c870d4b11be1547cbc145ef9a0.jpg"></p>    <p>此外,你可以在集群节点列表看到你所有的集群节点,这些节点都是你用niubi-job-cluster包启动的用于执行任务的节点,如下图。</p>    <p><img src="https://simg.open-open.com/show/70dc3c4686e6c96dd02c7b3b3928cf49.jpg"></p>    <p>刚才我们启动了一个任务,因此你会看到集群节点中,有一个任务数已经变成了1,代表它现在运行了一个任务。</p>    <p><img src="https://simg.open-open.com/show/6bfde42074a2d42af2fbe1fd8acf0ffe.jpg"></p>    <h3>浅谈下niubi-job未来的规划</h3>    <p>现在的niubi-job架构已经基本稳定了,接下来要做的是继续添加功能的支持,目前已经被添加到日程的功能如下。</p>    <p>1、支持启动任务时给任务方法传递参数。</p>    <p>2、支持单次运行任务。(现在用cron表达式其实也可以变相达到这一目的,但不够直观)</p>    <p>3、支持启动任务时指定某一个集群节点运行。</p>    <p>4、支持给集群节点分组,并且可以给任务添加到某个集群节点分组。(这样做的目的是,如果一个公司有两个或者更多项目组,那么可以给每个项目组分配几个集群节点作为一个分组,每个项目组的任务优先会在自己的集群节点上运行,不会影响其它的。只有当自己分组的集群节点挂完了,才会暂时借用其它分组的集群节点运行任务。当本分组的节点恢复时,再回到自己的集群节点分组上运行)</p>    <p>5、目前的负载均衡策略是简单的基于任务运行个数。也就是说假设有6个任务,3个节点,那么每个节点会运行2个任务。后期会给任务的每个指标加权,使得负载均衡更加智能化。比如有6个任务,但是可能其余五个任务都是几十秒就跑完了,但是有一个任务得跑10个小时才能跑完,这个时候只基于个数分配就有点不太合适了。我们将记录每个任务的运行时间,以及它占用的资源,来动态的进行负载均衡。</p>    <p>6、运维指标监控。这些指标包括集群节点和任务的指标。比如每个集群节点的CPU占用,内存占用等等。再比如每个任务每次的运行时间,是否成功等。</p>    <p>7、其它用户提出的需求。</p>    <h3>结语</h3>    <p>niubi-job不同于本人的其它开源项目,这个项目将会被持续优化下去。因此如果大家遇到了定时任务不好处理的问题,可以尝试使用niubi-job哦。</p>    <p>最后,希望大家踊跃的提出ISSUE和PR,本人的github地址在博客栏左侧。此外,左侧还有本人的直播地址,在直播中,本人也会解答niubi-job的问题,大家也可以关注一下。</p>    <p>好了,本文就到此为止了,感谢大家看到最后。</p>    <p>鞠躬,-_-。</p>    <p>来源:<a href="/misc/goto?guid=4959670282677576982" rel="nofollow">http://www.cnblogs.com/zuoxiaolong/p/niubi-job-4.html</a></p>    
 本文由用户 alen9988 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1460445851939.html
Java 分布式系统 作业调度框架 分布式/云计算/大数据