110,535
社区成员
发帖
与我相关
我的任务
分享大量数据处理
数据表A,原始数据表。
查询分析，通过已经写好的规则，比如根据表里面的时间规则等等，可以分为有效数据，和无效数据。
分别转存表B，和表C。
方法实现，效果很差，10W条数据都要30分钟了。是不是方法有什么问题啊。
数据库是MYsql
查询分析，通过已经写好的规则，比如根据表里面的时间规则等等，可以分为有效数据，和无效数据。
分别转存表B，和表C。
方法实现，效果很差，10W条数据都要30分钟了。是不是方法有什么问题啊。
数据库是MYsql
...全文
请发表友善的回复…
发表回复
deknight 2010-05-28
- 打赏
- 举报
一是mysql索引是否建了,2是语句,3是mysql用的什么形式 innodb?
lxiangcn 2010-05-28
- 打赏
- 举报
可能是逻辑有问题，语句是在100W条数据下测试过写进去的，在查询分析器里测试的效果蛮好的。慢慢找问题吧。
ai_li7758521 2010-05-28
- 打赏
- 举报
应该是语句须优化
皇城龙三 2010-05-28
- 打赏
- 举报
可以把你的SQL语句贴上来
应该还有优化的地方
还有就是做一些关联
和一些予处理，建立个索引
这样速度会快很多
应该还有优化的地方
还有就是做一些关联
和一些予处理，建立个索引
这样速度会快很多
lxiangcn 2010-05-28
- 打赏
- 举报
都是每次取1000条，处理完了，再接着。
Xiaoyuan245437 2010-05-28
- 打赏
- 举报
你的查询语句怎么写的?
