大数据传输问题请教

[AngelWings]

从SQL SERVER库的一个表里面查询所有的数据（几十万），通过cxf传输到MySQL的另外一个表中。
请问有什么好的查询方式，可以高效率地实现。谢谢！

[邹邹wl]

用多线程、缓存、定时器实现， 一个线程从数据库里面读数据，放在缓存里面； 另一个线程从缓存里面拿数据，发送给服务端。 写个定时器扫SQL SERVER的数据，比如：每次1000条，每分钟执行一次。 在有个定时器就是定时从缓存里面拿数据，发送。 这样可以缓解应用以及数据库压力。

[AngelWings]

引用 2 楼 z345434645 的回复:

用多线程、缓存、定时器实现， 一个线程从数据库里面读数据，放在缓存里面； 另一个线程从缓存里面拿数据，发送给服务端。 写个定时器扫SQL SERVER的数据，比如：每次1000条，每分钟执行一次。 在有个定时器就是定时从缓存里面拿数据，发送。 这样可以缓解应用以及数据库压力。

第一次查询了1000条，之后的查询，如何排除之前查询过的数据？

[AngelWings]

[skgary]

才几十万数据 ，一行1K也才几十M，sql server 全查出来，变成“|”的文本，一行一条记录，然后传到另外 一边，解析插入就好了。

[邹邹wl]

引用 3 楼 accpzar 的回复:

[quote=引用 2 楼 z345434645 的回复:] 用多线程、缓存、定时器实现， 一个线程从数据库里面读数据，放在缓存里面； 另一个线程从缓存里面拿数据，发送给服务端。 写个定时器扫SQL SERVER的数据，比如：每次1000条，每分钟执行一次。 在有个定时器就是定时从缓存里面拿数据，发送。 这样可以缓解应用以及数据库压力。

第一次查询了1000条，之后的查询，如何排除之前查询过的数据？[/quote] 可以加个标志位，初始为未处理，放入缓存成功就设置为已处理或者叫已放入缓存，放入缓存失败的不更新数据，这里可以批量处理，因为只更新一个字段。 从缓存拉数据发送成功则清理缓存数据，发送失败则不清理，后面会重发。 这里的定时器减轻压力的同时也相当于一个补偿机制。

[邹邹wl]

引用 4 楼 skgary 的回复:

才几十万数据 ，一行1K也才几十M，sql server 全查出来，变成“|”的文本，一行一条记录，然后传到另外 一边，解析插入就好了。

1K*10^6*几 = 几十M吗？哥们儿。。。还有数据可能是会增长的。

[bree06]

既然是查询全部数据就不要再sql上做文章了，<select * from table>最好用。 再说几十万数据而已，很小的量，就算有好的方法对效率影响很小

[skgary]

引用 6 楼 z345434645 的回复:

[quote=引用 4 楼 skgary 的回复:] 才几十万数据 ，一行1K也才几十M，sql server 全查出来，变成“|”的文本，一行一条记录，然后传到另外 一边，解析插入就好了。

1K*10^6*几 = 几十M吗？哥们儿。。。还有数据可能是会增长的。[/quote] 没错，就是几十M，除非你全是定长的1K。 数据增长也没有关系，自己设计好last updated 字段，按时间找不就是了。

[AngelWings]

引用 7 楼 bree06 的回复:

既然是查询全部数据就不要再sql上做文章了，<select * from table>最好用。 再说几十万数据而已，很小的量，就算有好的方法对效率影响很小

我在想，select * 查询出全部，会不会连接超时，会不会耗费太多内存等。 我刚刚计算了下时间，大约70S的时间。

[bree06]

你可以将所有过程分别计时，然后看是哪个过程耗时，然后再排出。 不知你是怎么实现的所以不太好说，预估应该是insert耗时。