大数据传输问题请教

2015-05-25 09:50:13 300 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

MaxENT生态位模型实战：从数据准备到论文发表的完整指南本文提供MaxENT生态位模型从数据准备到论文发表的完整实战指南，涵盖物种分布数据处理、环境变量筛选、参数优化及结果可视化等关键步骤。特别介绍如何通过R语言进行高级建模优化，提升模型AUC值，并分享海洋生物专题研究中的数据处理技巧。适合生态学研究者快速掌握这一强大的物种分布预测工具，产出高质量研究成果。阅读详情

从SQL SERVER库的一个表里面查询所有的数据（几十万），通过cxf传输到MySQL的另外一个表中。
请问有什么好的查询方式，可以高效率地实现。谢谢！

...全文

深入剖析一个卷积块（ConvBlock）深入剖析一个卷积块（ConvBlock）阅读详情

AngelWings

Java 51,407 成员 86,127 内容

+ 关注 + 加入社区

切换为时间正序

bree06 2015-05-27

打赏
举报

你可以将所有过程分别计时，然后看是哪个过程耗时，然后再排出。不知你是怎么实现的所以不太好说，预估应该是insert耗时。

AngelWings 2015-05-26

打赏
举报

引用 7 楼 bree06 的回复:

既然是查询全部数据就不要再sql上做文章了，<select * from table>最好用。再说几十万数据而已，很小的量，就算有好的方法对效率影响很小

我在想，select * 查询出全部，会不会连接超时，会不会耗费太多内存等。我刚刚计算了下时间，大约70S的时间。

skgary 2015-05-26

打赏
举报

引用 6 楼 z345434645 的回复:

[quote=引用 4 楼 skgary 的回复:] 才几十万数据，一行1K也才几十M，sql server 全查出来，变成“|”的文本，一行一条记录，然后传到另外一边，解析插入就好了。

1K*10^6*几 = 几十M吗？哥们儿。。。还有数据可能是会增长的。[/quote] 没错，就是几十M，除非你全是定长的1K。数据增长也没有关系，自己设计好last updated 字段，按时间找不就是了。

bree06 2015-05-26

打赏
举报

既然是查询全部数据就不要再sql上做文章了，<select * from table>最好用。再说几十万数据而已，很小的量，就算有好的方法对效率影响很小

邹邹wl 2015-05-26

打赏
举报

引用 4 楼 skgary 的回复:

才几十万数据，一行1K也才几十M，sql server 全查出来，变成“|”的文本，一行一条记录，然后传到另外一边，解析插入就好了。

1K*10^6*几 = 几十M吗？哥们儿。。。还有数据可能是会增长的。

邹邹wl 2015-05-26

打赏
举报

引用 3 楼 accpzar 的回复:

[quote=引用 2 楼 z345434645 的回复:] 用多线程、缓存、定时器实现，一个线程从数据库里面读数据，放在缓存里面；另一个线程从缓存里面拿数据，发送给服务端。写个定时器扫SQL SERVER的数据，比如：每次1000条，每分钟执行一次。在有个定时器就是定时从缓存里面拿数据，发送。这样可以缓解应用以及数据库压力。

第一次查询了1000条，之后的查询，如何排除之前查询过的数据？[/quote] 可以加个标志位，初始为未处理，放入缓存成功就设置为已处理或者叫已放入缓存，放入缓存失败的不更新数据，这里可以批量处理，因为只更新一个字段。从缓存拉数据发送成功则清理缓存数据，发送失败则不清理，后面会重发。这里的定时器减轻压力的同时也相当于一个补偿机制。

skgary 2015-05-26

打赏
举报

才几十万数据，一行1K也才几十M，sql server 全查出来，变成“|”的文本，一行一条记录，然后传到另外一边，解析插入就好了。

AngelWings 2015-05-25

打赏
举报

AngelWings 2015-05-25

打赏
举报

引用 2 楼 z345434645 的回复:

用多线程、缓存、定时器实现，一个线程从数据库里面读数据，放在缓存里面；另一个线程从缓存里面拿数据，发送给服务端。写个定时器扫SQL SERVER的数据，比如：每次1000条，每分钟执行一次。在有个定时器就是定时从缓存里面拿数据，发送。这样可以缓解应用以及数据库压力。

第一次查询了1000条，之后的查询，如何排除之前查询过的数据？

邹邹wl 2015-05-25

打赏
举报

用多线程、缓存、定时器实现，一个线程从数据库里面读数据，放在缓存里面；另一个线程从缓存里面拿数据，发送给服务端。写个定时器扫SQL SERVER的数据，比如：每次1000条，每分钟执行一次。在有个定时器就是定时从缓存里面拿数据，发送。这样可以缓解应用以及数据库压力。

大数据传输问题请教

相关推荐