求思路完成数据库数据处理算法

dengyiming 2012-02-14 05:09:12
现在有数据库数据,系统会自动每天生成一个数据文件,就针对某个表做操作就可以了。
数据库表的结构相同。内容如下

文件20120213db.db
------------------ 2012-02-13 ----------------
字段id 字段content
1 START 001
2 AAAAAAAAAAA
3 BBBBBBBBBBB
4 END 001
5 START 002
6 CCCCCCCCCCCC

文件20120214db.db
------------------ 2012-02-14 ------------------
字段id 字段content
1 DDDDDDD
2 END 002
3 START 003
4 EEEEEEE
5 FFFFFFF
6 GGGGGGGG
7 START 004
8 KKKKKKKK

需要用 C#完成怎么将两个文件的数据组合起来
START 和 END 是有效区分一批数据是同一个batch ,实现的结果下。
前提条件是两个数据库的数据记录是海量,需要分段,分块处理。而且不只是一个database file,而是多个可能有一年的数据。

字段id 字段content
001 START 001
001 AAAAAAAAAAA
001 BBBBBBBBBBB
001 END 001
002 START 002
002 CCCCCCCCCCCC
002 DDDDDDD
002 END 002
003 START 003
003 EEEEEEE
003 FFFFFFF
003 GGGGGGGG
004 START 004
004 KKKKKKKK

希望可以有一种好的算法把数据一小块一小块处理。保持数据的完整性和准确性最为关键。假如限定读取数据的行数,应该如何去实现呢?
...全文
55 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
dengyiming 2012-02-14
  • 打赏
  • 举报
回复
[Quote=引用 1 楼 bdmh 的回复:]

获取总量,然后多线程,指定每个线程的记录数,select top(),然后其他类似取得,可以参考分页技术
[/Quote]

请细心看看我的问题吧。获取总量是什么总量啊?遍历所有的数据库文件?
bdmh 2012-02-14
  • 打赏
  • 举报
回复
获取总量,然后多线程,指定每个线程的记录数,select top(),然后其他类似取得,可以参考分页技术

110,536

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • Web++
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧