对数据库表上百万条的数据处理

chenyang80425 2010-06-13 05:11:48

我有一张表,大约有一千万条数据,每天我要对里面的一百万条左右的数据进行比对,更新数据状态.由于数据量太大,比对速度太慢.所以我考虑多台服务器同时运行进行比对.比如4台同时运行,电脑1运行:1到250000,电脑2运行:250000到500000,电脑3运行:500000到750000,电脑1运行:750000到1000000的数据.请问我要如何进行查询数据库了.让数据自动分配给每台服务器?

...全文

282 9 打赏收藏转发到动态举报

写回复

用AI写文章

9 条回复

切换为时间正序

请发表友善的回复…

发表回复

Q315054403 2010-06-14

打赏
举报

分区需要良好的设计CPU、HDD。。。估计楼主功力还没到位
1000万数据并不算大

Rotel-刘志东 2010-06-14

打赏
举报

同一台电脑做表分区了，把分区表放在不同磁盘分区上。

chenyang80425 2010-06-14

打赏
举报

其实我这个速度慢是因为我在一个网站上抓取信息，把抓取的信息解析Html后，获得一个状态值，通过这个值更新数据库的相应记录。由于抓取速度慢。所以我考虑多台服务器抓取。但这样操作就会存在一个问题。几台服务器都同时去操作了同一条数据。造成性能无法提高。所以需要把表分成几个区，一台服务器记取一个分区的数据，这样就不会出现多台服务器对同一条记录进行操作的现象。
我用的sql server2000数据库，请问要如果进行表分区。

chenyang80425 2010-06-14

打赏
举报

请问表如何进行分区？

--小F-- 2010-06-13

打赏
举报

4台电脑来做??还不如一台电脑来分区表毕竟跨电脑远程操作不方便而且效率不高

xiaoliaoyun 2010-06-13

打赏
举报

还可以用表分区,不同的分区放不同的磁盘.

dawugui 2010-06-13

打赏
举报

[Quote=引用楼主 chenyang80425 的回复:]
我有一张表,大约有一千万条数据,每天我要对里面的一百万条左右的数据进行比对,更新数据状态.由于数据量太大,比对速度太慢.所以我考虑多台服务器同时运行进行比对.比如4台同时运行,电脑1运行:1到250000,电脑2运行:250000到500000,电脑3运行:500000到750000,电脑1运行:750000到1000000的数据.请问我要如何进行查询数据库了.让数据自动分配给每台服务器?
[/Quote]
一千万条嘛,小意思啦.

对相关字段(你要用到的)加上索引,就能解决问题.