目前采用的是为每一个任务，创建一个线程（线程池）去处理这个任务关联的数据，现在问题是如果用户创建的任务过多，每一个任务执行时间就会特别长，就会导致后面创建的任务等待时间特别长，请问各位大佬有没有好的设计方式呀，感谢大佬些呀
-
接手到一个异步任务的项目，用户通过在前端，创建任务，任务创建好之后，会根据任务数据生成跟当前任务关联的数据，然后用户在前端点击执行任务，后台去查询任务下面关联的数据进行处理(每一个任务关联的数据约为几十到4、5百条)，每一条数据处理的时间约为30s到1分钟左右。
目前采用的是为每一个任务，创建一个线程（线程池）去处理这个任务关联的数据，现在问题是如果用户创建的任务过多，每一个任务执行时间就会特别长，就会导致后面创建的任务等待时间特别长，请问各位大佬有没有好的设计方式呀，感谢大佬些呀
展开阅读全文
-
等级
本版专家分：0勋章
-
- 签到新秀
-
-
有没有大佬呀，帮帮忙呀，困扰好几天了
-
等级
本版专家分：224 -
建议
一、可以在用户前端点击招行后 给予提示，如：当前任务排在第几位预计需要多少时间可以生成；
二、通过每个任务生成的线程池中 可以考虑再用多线程来分别处理每条数据？
三、不知道业务场景是什么样的，是否可以定时去执行（比如特定时间段去执行任务）
四、任务关联的数据，是否存在重用的可能？避免每次生重复处理
-
等级
本版专家分：2353勋章
-
- GitHub
-
- 黄花 2019年9月 Java大版内专家分月排行榜第二
-
-
这个业务在单台服务器上，当任务量过多时就会达到性能瓶颈，除了去优化每条数据的处理时间，好像没有其他办法，如何优化，2楼的同学也提供了一部分建议，可以考虑一下，不过还是要看你具体业务，如果这些方面都无法提升，可以考虑负载均衡，把这些任务全部扔到队列中，然后多台服务器的程序去消费这个队列任务，其实这个和你开线程池多线程消费是一个道理，但是单台服务器性能有限
-
等级
本版专家分：17459勋章
-
- GitHub
-
-
红花
2018年5月 Java大版内专家分月排行榜第一
2018年4月 Java大版内专家分月排行榜第一
-
-
黄花
2019年8月 Java大版内专家分月排行榜第二
2019年6月 Java大版内专家分月排行榜第二
2019年1月 Java大版内专家分月排行榜第二
2018年11月 Java大版内专家分月排行榜第二
2018年7月 Java大版内专家分月排行榜第二
2018年6月 Java大版内专家分月排行榜第二
-
-
蓝花
2018年3月 Java大版内专家分月排行榜第三
2018年2月 Java大版内专家分月排行榜第三
2018年1月 Java大版内专家分月排行榜第三
-
-
1.优化性能,提升性能包括不限于增加服务器/替换高性能服务器/缓存/算法优化/sql优化
2.队伍过多数据可以考虑拒绝
-
等级
本版专家分：27363勋章
-
- 铜牌 2019年9月 总版技术专家分月排行榜第三
-
-
红花
2019年9月 Java大版内专家分月排行榜第一
2013年7月 Java大版内专家分月排行榜第一
-
- 蓝花 2019年10月 Java大版内专家分月排行榜第三
-
-
如果这个任务执行结果用户不关注的化，可以先返回已接受任务，再慢慢做，做好了可以给发个回执。
如果一定要实时响应，想办法优化服务：多线程、业务精简、SQL优化。如果性能达不到要求，考虑做集群，扩大服务端规模。
-
等级
本版专家分：0勋章
-
- 签到新秀
-
-
感谢各位大佬，现在在上班，一会儿下班一一回复哈
-
等级
本版专家分：2670勋章
-
-
红花
2019年8月 扩充话题大版内专家分月排行榜第一
2018年10月 扩充话题大版内专家分月排行榜第一
2018年8月 扩充话题大版内专家分月排行榜第一
2018年6月 扩充话题大版内专家分月排行榜第一
2018年5月 扩充话题大版内专家分月排行榜第一
2018年1月 扩充话题大版内专家分月排行榜第一
2017年12月 扩充话题大版内专家分月排行榜第一
2017年11月 扩充话题大版内专家分月排行榜第一
2017年10月 扩充话题大版内专家分月排行榜第一
2017年9月 扩充话题大版内专家分月排行榜第一
2017年8月 扩充话题大版内专家分月排行榜第一
2016年6月 扩充话题大版内专家分月排行榜第一
2015年10月 扩充话题大版内专家分月排行榜第一
2015年4月 扩充话题大版内专家分月排行榜第一
2015年3月 扩充话题大版内专家分月排行榜第一
-
-
黄花
2020年12月 扩充话题大版内专家分月排行榜第二
2019年10月 扩充话题大版内专家分月排行榜第二
2019年9月 扩充话题大版内专家分月排行榜第二
2018年11月 扩充话题大版内专家分月排行榜第二
2018年7月 扩充话题大版内专家分月排行榜第二
2017年6月 扩充话题大版内专家分月排行榜第二
2016年5月 扩充话题大版内专家分月排行榜第二
2015年5月 扩充话题大版内专家分月排行榜第二
2014年11月 扩充话题大版内专家分月排行榜第二
2013年10月 扩充话题大版内专家分月排行榜第二
2013年8月 扩充话题大版内专家分月排行榜第二
-
-
蓝花
2019年11月 扩充话题大版内专家分月排行榜第三
2019年9月 Web 开发大版内专家分月排行榜第三
2018年9月 扩充话题大版内专家分月排行榜第三
2018年2月 扩充话题大版内专家分月排行榜第三
2017年7月 扩充话题大版内专家分月排行榜第三
2015年8月 扩充话题大版内专家分月排行榜第三
-
-
定时到夜间凌晨执行。
-
等级
本版专家分：0勋章
-
- 签到新秀
-
-
感谢您的意见，但是这个是用户建的任务，整个服务都是用来运行任务的，凌晨执行的话，任务不就更长时间了吗，而且就用户体验就更不好了
-
等级
本版专家分：0勋章
-
- 签到新秀
-
-
感谢您的建议哈
一、这个可以考虑，但是我们现在服务部署是多实例，估计有点麻烦
二、这个已经在用了
三、定时执行我也考虑过，但是感觉用不上
四、任务关联的数据是重用的
-
等级
本版专家分：0勋章
-
- 签到新秀
-
-
感谢，现在是多台服务，不过没有引进消息队列，但是引进消息队列的话，感觉也差不多；我想的是，能不能类似cpu时间片执行的方式，一个任务执行一部分，然后再去执行另一个任务的一部分执行
- java 耗时任务_Java Thread - 如何避免并发执行一个耗时的任务而不阻塞
import java.util.concurrent.BlockingQueue;import java.util.concurrent.LinkedBlockingDeque;import java.util.concurrent.ThreadPoolExecutor;import java.util.concurrent.TimeUnit;import java.util.concurren...
- java怎么处理耗时久的任务_Java Thread - 如何避免并发执行一个耗时的任务而不阻塞......
public class Main {public static void main(String[] args) throws Exception {Thread previousThread = null;for (int i = 0; i < 20; i++) {JobRunnable job = new JobRunnable(i, previousThread);...
- java模拟耗时操作_Java 高并发之设计模式
优质文章，及时送达作者：...单例单例是最常见的一种设计模式, 一般用于全局对象管理, 比如xml配置读写之类的.一般分为懒汉式, 饿汉式.懒汉式: 方法上加synchronized1 public static synchronized Singleton getIns...
- java模拟耗时操作_Java高并发之设计模式，设计思想
单例单例是最常见的一种设计模式, 一般用于全局对象管理, 比如xml配置读写之类的.一般分为懒汉式, 饿汉式.懒汉式: 方法上加synchronizedpublic static synchronized Singleton getInstance() { if (single == null) ...
- java模拟耗时操作_恒同学小课堂 | 经验篇：Java高并发之设计模式，设计思想！...
单例单例是最常见的一种设计模式, 一般用于全局对象管理, 比如xml配置读写之类的.一般分为懒汉式, 饿汉式.懒汉式: 方法上加synchronizedpublicstaticsynchronizedSingletongetInstance(){if(single==null){...
- Java高并发之设计模式，设计思想
推荐阅读：阿里P8架构师谈：工作1-5年的Java工程师，怎样提高核心竞争力 阿里架构师直言：“没有实战都是纸上谈兵”！Redis实战PDF分享 奋发图强半年多，终于四面阿里如愿拿到心仪offer定级P7 本文主要讲解几种...
- Java高并发程序设计入门
说在前面本文绝大部分参考《JAVA高并发程序设计》，类似读书笔记和扩展。走入并行世界概念同步（synchronous）与异步（asynchronous）同步和异步通常来形容一次方法调用。同步方法调用一旦开始，调用者必须等到方法...
- Java并发编程：并发任务执行及结果获取
Executor：任务执行 Executor ExecutorService 任务生命周期管理 对任务提交方法的拓展 Future：未来对任务结果的获取 CompletionService：及时获取已完成任务的结果 Executor：任务执行 ...
- 并发编程篇:java 高并发面试题
1、线程与进程 进程是一个实体。每一个进程都有它自己的地址空间，一般情况下，包括文本区域（text region）、数据区域（data region）和堆栈（stack region）。文本区域存储处理器执行的代码；...
- java 并发处理耗时操作的问题
刚刚写了个测试程序 原本想使用多线程并发处理 来节省时间，结果反而更耗时。请各位指点一下。 主方法： public class MainAction { public static void main(String[] args) { /*new Action1().run(); new ...
- java高并发实战（七）——并发设计模式
一、什么是设计模式1.在软件工程中，设计模式（design pattern）是对软件设计中普遍存在（反复出现）的各种问题，所提出的解决方案。这个术语是由埃里希·伽玛（Erich Gamma）等人在1990年代从建筑设计领域引入到...
- Java并发编程线程任务返回值及顺序问题解决方案
无返回值并发执行顺序控制 有返回值或先后顺序控制 Future FutureTask CompletionService CompletableFutrue比较 CountDownLatch CyclicBarrier FutureTask CompletionService CompletableFuture 核心知识点...
- Java线程池并发执行多个任务
Java在语言层面提供了多线程的支持，线程池能够避免频繁的线程创建和销毁的开销，因此很多时候在项目当中我们是使用的线程池去完成多线程的任务。 Java提供了Executors 框架提供了一些基础的组件能够轻松的完成多...
- Java并发之构建异步任务
有个小朋友表示我写的并发文章，不够细，看了还是不太明白。 我的写作水平实在有限，泪奔。...而异步则是可以并发同时处理多个任务。 举个栗子吧。 某个网站的用户提交注册需要以下几步： 1，调用用户服务，写入数
- 【java】总结java高并发的处理
高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。 高并发相关常用的一些指标有响应时间（Response Time），吞吐量...
- MySQL数据库面试题（2020最新版）
文章目录数据库基础知识为什么要使用数据库什么是SQL？什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式？分别有什么区别？数据类型mysql有哪些数据类型引擎MySQL存储...
- java 异步并发
java 异步并发 在Java中，如使用Tomcat，一个请求会分配一个线程进行请求处理，该线程负责获取数据、拼装数据或模板然后返回给前端；在同步调用获取数据接口的情况下（等待依赖系统返回数据），整个线程是一直被...
- Java 8 并发之同步与锁
第三部分：原子变量与ConcurrentMap 欢迎浏览Java 8 并发教程的第二部分.本教程致力于使用简单而易于理解的代码实例来教授你关于java8中并发编程一些知识。接下来你会学到在并发编程中使用synchronized关键字，锁
- 基于线程池的并发编程取消运行中的任务
/*** <p>* Create Time: 2018年5月25日* </p>* @version 1.0*/package...import java.lang.Thread.State;import java.util.Iterator;import java.util.Map.Entry;import java.util.Set;...
- 2. Java并发编程之 进程和线程，并行和并发
进程和线程之间的关系？ 并行和并发区别？ 为什么使用并发？
- java并发编程的艺术和并发编程这一篇就够了
java并发编程的艺术(精华提炼) 通常我们在使用编发编程时,主要目的是为了程序能够更快的处理,但是并不是说更多的线程就一定能够让程序变得足够快,有时候太多的线程反而消耗了更多的资源,反而让程序执行得更缓慢 一....
- Java并发编程最佳实例详解系列
Java并发编程最佳实例详解系列: Java并发编程（一）线程定义、状态和属性 Java并发编程（一）线程定义、状态和属性 线程是指程序在执行过程中，能够执行程序代码的一个执行单元。在java语言中，线程有四种状态...
- Java并发编程之线程池任务监控
Java并发编程之线程池任务监控 当我们提交runnable或者callable到ThreadPoolExecutor时，我们是无法知道这些任务是在什么时候才真正的执行的，为了实现这个需求，我们需要扩展ThreadPoolExecutor，重写...
- Java并发编程与技术内幕:线程池深入理解
摘要： 本文主要讲了Java当中的线程池的使用方法、注意事项及其实现源码实现原理，并辅以实例加以说明,对加深Java线程池的理解有很大的帮助。 首先，讲讲什么是线程池？照笔者的简单理解，其实就是一组线程实时...
- java并发编程-限时任务
ExecutorService是JDK并发工具包提供的一个核心接口，相当于一个线程池，提供执行任务和管理生命周期的方法。ExecutorService接口中的大部分API都是比较容易上手使用的，本文主要介绍下invokeAll和invokeAll方法的...
- Java高并发——使用Lock锁实现并发安全
提到并发，就不得不提到线程，关于多线程想必大家都知道，如果一个程序开启多个线程，执行多个任务，那么我们就说这个程序存在并发。 并发场景下，最需要注意的问题就是数据安全性，即线程安全，那么什么是线程安全...
- 阿里常用Java并发编程面试试题
一个线程要执行任务,必须得有线程一个进程(程序)的所有任务都在线程中执行的一个线程执行任务是串行的,也就是说一个线程,同一时间内,只能执行一个任务 多线程原理 同一时间,CPU只能处理1条线程,只有一条线程在工作...
- 简单优化过的线程池，目前用在Android上，并发执行2000个耗时任务毫无压力
import java.util.concurrent.LinkedBlockingQueue; import java.util.concurrent.RejectedExecutionHandler; import java.util.concurrent.ThreadFactory; import java.util.concurrent.ThreadPoolExecutor; import...
- 实战Java高并发程序设计（一）走进并发世界
并发偏重玉多个任务交替执行，而多个任务之间可能还是串行的。 并行是真正意义上的“同时执行”。 临界区 临界区用来表示一种公共资源，或者说是共享数据，可以被多个线程使用。但是每次只能由一个线程使用它。 ...
- 2020年 Java面试题整理 最新Java面试题2020
文章目录1、类加载和实例化2、Java是值传递还是引用传递3、类加载的主要过程4、什么是GC5、简述垃圾回收过程6、内存泄漏7、导致内存泄漏的场景8、Java中堆和栈的区别9、ArrayList、LinkedList、Vector的区别10、...