大表中的大量数据update问题？

[赵举飞]

一个大表可能是半年的数据，数据量极大，现在每天update一点数据，这一天的可能也有几十万，直接update很慢，有什么办法可以update？或者变相的update也可以，update后数据还要保留在原标里。

[卖水果的net]

分批更新，每个 update 只更新1万行，然后马上就commit，再更新下一批。

• 打赏
• 举报

回复 赞

[碧水幽幽泉]

update的条件是什么？ 可以创建日分区表，每天update一个分区，速度还是非常快的。

• 打赏
• 举报

回复 赞

[碧水幽幽泉]

一天才几十万条数据，数据量算是非常小的了。

• 打赏
• 举报

回复 赞

[游灬魂]

update换merge into

• 打赏
• 举报

回复 赞

[minsic78]

即便几十万，即便不分区，所以对付这种数据量还是能凑合凑合的，当然，如果你要求什么“秒级返回”、“眨眼搞定”，那是不可能的。 其实我想问题应该在于：你的update的执行是否稳定？是否每次update相同数据量的时候速度都差不多？会不会遇到了SQL性能问题之外的其他等待？

• 打赏
• 举报

回复 赞

[赵举飞]

引用 6 楼 多么不容易 的回复:

额。。。这个问题就太监了么，每个结果呢

我也忘了当时什么需求驱动,最后自己怎么搞的了...

• 打赏
• 举报

回复 赞

[多么不容易]

引用 7 楼 济南大飞哥 的回复:

[quote=引用 6 楼 多么不容易 的回复:]
额。。。这个问题就太监了么，每个结果呢

我也忘了当时什么需求驱动,最后自己怎么搞的了...[/quote]
好吧，还是很感谢大哥的回复

• 打赏
• 举报

回复 赞

[多么不容易]

额。。。这个问题就太监了么，每个结果呢

• 打赏
• 举报

回复 赞

[花间一壶酒..]

楼主最后怎么解决的忘告知

• 打赏
• 举报

回复 赞

[赵举飞]

引用 9 楼 ma_shuqiang 的回复:

楼主最后怎么解决的忘告知

循环体里是多线程，多线程去分批次查询（类似分页），每个线程把自己的数据放到临时表中，然后做业务处理后update主表，删除临时表。多个线程全部跑完才能进行一下次循环，否则你的分页查询就会乱，注意查询时加排序（排序字段不能有重复数据）。上述办法适合oracle等大型数据库，像mysql这种小型数据库，性能一般，就没有多好的办法。传统技术搞大数据。

• 打赏
• 举报

回复 赞