请教：如何并发处理任务(Job)

nicolas1999king 2008-04-24 02:18:53

已有一个存储过程来计算部门A(参数为dep_id)的员工工资。

计算一个部分大概需要2分钟。

现部署一个Job Job1自动计算公司AA的所有部门的工资。

因为是一个部门一个部门的计算，于是大概需要2*部门数的执行时间。

在执行了一段时间之后，我决定用二分法来并发计算。Job1计算部门ID<500的工资，Job2计算部门ID>=500的工资。

发现速度确实提高了一倍。

然后我分为了4个Job来做，又提高一倍。

现在想问的是，大概可以定制多少了Job来并发可以达到性能速度最优化？如果有200个部门，可以用20个Job来做吗？

或者这个办法太笨了？大家有更好的办法吗？

谢谢大家了。

...全文

169 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

nicolas1999king 2008-04-24

打赏
举报

回复

真的没人啊？？？？

nicolas1999king 2008-04-24

打赏
举报

回复

某人格？？

ninakeke 2008-04-24

打赏
举报

回复

帮顶

ninakeke 2008-04-24

打赏
举报

回复

不知道，帮你顶好了

AsyncIOScheduler 是 APScheduler 中的异步调度器，利用 asyncio 实现定时任务调度。它能在不阻塞程序的情况下，优雅地管理任务，提升异步编程效率，适配各种异步框架。

1、yarn概述 1.1、yarn是集群中的资源管理模块为各类计算框架提供资源的管理和调度 ①用于管理集群资源（服务器硬件，包括CPU，内存，磁盘，网络IO等）； ②调度运行在yarn上的各种任务调度器:用来对hadoop分布式集群中同一时刻运行的job进行规划和约束的。总而言之：调度资源，管理任务 1.2、核心出发点：分离资源管理和作业监控 ①全局资源管理 - RM ②每个应用程序对应一个应用资源管理 - AM 1.3、调度层级 ①一级调度管理计算资源管理（CPU，内存，磁盘，IO）

并发并发是指多个任务在同一时间段内交替执行，从宏观上看似乎是同时进行的，但在微观上并不是同时执行的。并发是通过将时间划分为若干个小段，每个任务轮流占用处理器资源来实现的。在任一时刻，只有一个任务在执行，但由于切换速度很快，给人的感觉是多个任务同时进行。并发主要关注的是任务的交替执行和资源共享，以及如何避免冲突和提高效率。并行并行是指多个任务在同一时刻真正同时执行，每个任务都占用独立的处理器资源。

MapReduce: 提高MapReduce性能的建议(1) http://www.aboutyun.com/thread-5749-1-1.html 请教一个问题：在集群上运行Mapreduce V2程序，每次处理大约100G-400G的数据，但是程序运行后，NodeManager机器的CPU会达到100%，直到任务结束，内存使用正常。在NodeManager机器上，使用jps命令，

由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。希望能和大家交流 msn: defender_ios@hotmail.com ———————————————————————————————————————  初创网站与开源软件 6  谈谈大型高负载网站服务器的优化心得! 8  Lighttpd+S

17,140

社区成员

55,259

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章