工作中需要推动DolphinScheduler的升级,经过预研,从1.3.4到3.1.2有的体验了很大的提升,在性能和功能性有了很多的改善,推荐升级。
② 统一管理 : 统一管理线程 , 重用存在的线程 , 减少线程对象创建 , 销毁的开销 ;
② 自定义定时任务 : 自己开发的任务 , 然后将该任务提交到任务队列中 , 同时可以指定任务的执行时间 ;
为了充分发挥 GPU 算力,需要尽可能多的将任务交给 GPU 执行,现在有一个任务数组,数组元素表示在这 1s 内新增的任务个数,且每秒都有新增任务。假设 GPU 最多一次执行 n 个任务,一次执行耗时 1s,在保证 GPU 不空闲的情况下,最...
为了充分发挥GPU算力, 需要尽可能多的将任务交给GPU执行, 现在有一个任务数组, 数组元素表示在这1s内新增的任务个数, 且每秒都有新增任务, 假设GPU最多一次执行n个任务, 一次执行耗时1s, 在保证GPU不空闲的情况下,最少需要多...
Cron表达式的时间字段除允许设置数值外,还可使用一些特殊的字符,提供列表、范围、通配符等功能,细说如下:
最近运维同学在容器化生产环境,买了一些ECS的临时机器,这些临时机器性能不如生产环境的机器。先把定时任务迁移到容器化环境,然后发生特别奇怪的问题。没有执行时间,执行时间为空的越来越多,原来是好好的,为啥迁移完环境就...
这一年来,由于各种原因,需要不断地学新东西。于是如何高效地学习,就成了一个随之而来的问题。最近看了一些书和公开课,包括 Scott H Young 的 Learn More, Study Less[1](以下简称 LMSL),和 Coursera 上的公开课学会如何学习...
该案例在github中django_celery_demo (opens new window)
今天来分享一下任务调度,任务调度在我们项目中是不可避免的,只是不同的场景,不同的业务复杂程度和业务要求,我们会使用不同的任务调度实现,而任务调度的实现方式以及框架有很多,在Java语言层面,可以使用Timer类来实现,也可以...