一张临时表，不断的插入数据，并且要求最快的时间内处理该表内的数据，怎么设计一个多线程的程序处理它？

shanks_java 2016-07-05 04:35:23

多线程读同一张表，怎么避免同时数据的重复读取，并且让效率达到最大化。求指导

...全文

87 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

rickylin86 2016-07-06

打赏
举报

回复

添加一个列用户存于时间对象.每次读取的时候只读取时间大于最后一次读取的行。

每日一更，最近的问题真是一个接一个，真的让人头大，昨天遇到一个多线程的问题问题描述一下：有一个线程的问题，就是假如我有一个文件，然后这个文件有很多条数据，假如有两个字段，一个学号一个钱，（我的需求是，读取文件，把数据插入到表里，先拿文件的学号去查表有这个数据，就把钱进行相加，没有就新增一条数据）现在遇到问题是：我开多线程跑，现在出现了，这个表里有两条数据的概念（不应该是两条，因为读文件有就把钱相加，没有就新增），我感觉是，多个线程拿到了两条一样的学号同时去库里查，都没有查到，把这两条同时新增到了表里

最近一直在处理数据上传和采集的问题, 因为写在asp.net 里面的web服务默认就是多线程的, 一个请求就是一个线程… 所以多线程之间为了不读取重复的数据, 就成了问题. 数据必须严格不重复, 同样的数据绝对不能处理2次… 多线程就更不能出现重复读取的现象了. 自己现在也用的是另外一套非常蹩脚的方法, . 把数据取出来然后在内存里面通过lock(object)的形式实现数据不重复处理的办法...

文章目录一、前言二、批量插入前准备1、插入到数据表的字段2、计算一行字段占用的空间3、在数据里做插入操作的时候，整体时间的分配三、批量插入数据测试1、SQL语句的大小限制2、查看服务器上的参数：3、计算一次能插入的最大行记录4、测试插入数据比对（1）插入11W条数据，按照每次10,600,1000，20000,80000来测试：（2）加大数据量到24w（3）加大测试量到42W5、如果插入的值就是s...

python处理数据,存进hive表的方法首先，公司的小组长给了我一个任务，把一个txt的文件中的部分内容，存进一个在hive中已有的表的相同结构的表中。所以我的流程主要有三个，首先，把数据处理成和hive中表相同结构的数据，然后仿照已有的hive中表的结构再创建一张新的数据表，最后把本地的txt文件上传到hive中新建的数据表中。1：已有的数据表的结构和在hive表中的结构完全对不上，下面的图是...

java 千万条数据插入mysql优化

50,528

社区成员

85,607

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章