数据采集的思路

qq598235031 2012-09-11 09:57:42
场景是这样的,假设生产车间有20个客户端PC机,现在加一个接口系统IS,IS依次从20个客户端采集数据。
采集方式:直接连他们的数据库SQLSERVER2000,抽取订单以及订单明细2个表,清楚这2个表的结构。
采集数据量:每个客户端这两个表的每天大约6万-10万,20台每天大约6万-10万条记录。
把采集到的数据保存到本地数据库(暂定SQLSERVER2005),然后对订单加工,以webservice方式发给其他系统。

现在,1.数据采集的机制是什么?
2.面对如此大的数据量,本地如何有效的存放,并且高效的查询?

目前,我的思路是IS启动20个线程,依次向每个客户端抽取数据;数据存放在本地对应临时表中,数据采集完后将临时表数据转到正式表中。
数据库采用年月日命名规则,历史数据按年月分区。

请各位高手、大侠不吝赐教!
...全文
115 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
qdu123 2012-09-19
  • 打赏
  • 举报
回复
考虑下订阅-发布机制
Jia_H 2012-09-15
  • 打赏
  • 举报
回复
数据库同步(客户端 到 服务器)
服务器上用JOB定时处理数据

13,190

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 分析与设计
社区管理员
  • 分析与设计社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧