多线程数据提交

sunyinghao0223 2012-03-06 05:56:38

现在比如我有10万条数据,这些数据我要提交给一个地址,这个地址提交一次一般要响应3-4秒,我该如何设计这个多线程呢???求高手,最好有代码

...全文

60 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

背景：批量导入数据时耗时过长解决方案：使用多线程进行数据保存步骤： 1.构建需要保存的数据记录（代码略） List<Object> objectList = new ArrayList<>(); 2.拆分总体数据为多份数据 //将原始数据拆分为多个子List，存储在partLists中 List<List<Object>> partLists = new ArrayList<>(); //定义分批的条数 int limitSi

前言在某些时候，一旦单表数据量过大，查询数据的时候就会变得异常卡顿，虽然在大多数情况下并不需要查询所有的数据，而是通过分页或缓存的形式去减少或者避免这个问题，但是仍然存在需要这样的场景，比如需要导出一大批数据到excel中，导出数据之前，首先得把数据查询出来吧？这个查询的过程，数据量一旦过大，单线程查询数据将会成为瓶颈，下面尝试使用多线程来尝试查询一张数据量较大的表由于代码逻辑不是很难，直接上...

做了一个导入的功能，然后根据Excel中的数据更新库里的数据，一共六千多条。并不是很大量。一开始使用mybatis-plus自带的batchUpdateById方法更新，默认三十条数据一提交，后来改为500条一提交，用时四十多秒 if (updateEmp.size() > 0){ this.updateBatchById(updateEmp); } 然后改为多线程批量提交，用时四十毫秒，差距何止十倍 if (updateEmp.size() > 0){ logger.debug("

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、循环操作的代码二、使用事务的操作代码三、尝试多线程进行数据修改四、为多线程提交添加事务控制总结前言公司业务中遇到一个需求，需要同时修改最多约5万条数据，而且还不支持批量或异步修改操作。循环操作耗时太长，为提高效率我进行了下面这个测试，具体操作如下：一、循环操作的代码 /*** * 一条一条依次对50000条数据进行更新操作 * ...

1、由于多线程每个线程都是一个异步任务，所以每个线程都是一个单独的事务，通常使用的声明式事务 @Transactional() 是无法控制多线程中事务的。成功写入10000条数据。插入数据过程中模拟出现异常，事务会全部回滚。此方式没有第一种方式可靠，推荐第一种方式。2、所以只能另寻解决方式。

17,740

社区成员

24,334

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章