超量数据处理的性能问题？

[yqyqyoyo]

如题：现有超级量的数据需要处理。处理方式先不看，怎么样来优化程序处理的时间。让程序的处理时间越短越好。
例如： 现在数据库表TabA中有数据1000W条，
设 TabA的格式如下：
id title nick date
1 aaa 12 1999-12-12
1 aaa 12 1999-12-12
1 aaa 12 1999-12-12
1 aaa 12 1999-12-12
1 aaa 12 1999-12-12
.
.
.
1000W aaa 12 1999-12-12

假设现在需要从中读取一条（id=562W）数据，用什么方法读取的速度最快？怎么样才能做到效率更高？

[一品梅]

加索引

[一品梅]

使物理符合逻辑顺序

[hb9191]

[Quote=引用 1 楼 only_endure 的回复:]
加索引
[/Quote]
给ID建索引

[yqyqyoyo]

加了索引，使用存储过程，
另外 还有可能发生的情况
是在同一时间几乎同时向
同一个数据库表中新添加上百万
甚至上千万的数据， 遇到这样的问题怎么样处理。

上面说的只不过是个假设的查询问题，我的意思是主要针对批量的大量数据处理。
同时这个又必须是B/S模式。在硬件方面提高性能的话，就不用说了。

现在需要考虑的是怎么样做，才能把系统的性能提高到最好！
不管是对数据表的操作是查询、修改、删除、新增。
注意，这里的操作可能都是同时发生在上百万级的数据量同时并发。
请问各位高手，有什么办法可以在最短的时间内完成这样的操作？
同时 大概需要多少时间？假设同时处理的数据量为1000W

[一品梅]

[Quote=引用 4 楼 yqyqyoyo 的回复:]
加了索引，使用存储过程，
另外 还有可能发生的情况
是在同一时间几乎同时向
同一个数据库表中新添加上百万
甚至上千万的数据， 遇到这样的问题怎么样处理。

上面说的只不过是个假设的查询问题，我的意思是主要针对批量的大量数据处理。
同时这个又必须是B/S模式。在硬件方面提高性能的话，就不用说了。

现在需要考虑的是怎么样做，才能把系统的性能提高到最好！
不管是对数据表的操作是查询、…
[/Quote]
楼主在研究什么课题？带上我好么？

[yqyqyoyo]

正在迷茫中......
对于这种超级重量级数据的处理方式。
目前自己还没有找到合理的处理方式，
做了一个实验 双核CUP 2G物理内存的机器，
在对数据库只做添加操作时 1000W数据大概需要30分钟才能完成。
有什么办法可以让1000W数据添加数据库中仅仅只需要几分钟，或者几秒中就能完成呢？

有没有高手给出建议啊？
大家一起讨论也行！！

[以专业开发人员为伍]

从100万条记录索引中查询一个值，与从不足千条记录索引中查询一个值所花的时间的差别微乎其微！很自然地从一开头就应该去声明好索引再去写查询程序。

看来楼主没学好B+树或者索引方面的数据结构知识。

[yqyqyoyo]

查询数据的时候我知道可以通过对数据库建立索引来优化.
问题是,在我同时向数据库表中插入1000W数据的时候,怎么样优化呢?
注: 这1000W数据几乎是同时产生,并同时向数据库表进行添加操作. 最重要的就是这个问题,对于查询优化方面我现在找到了解决的办法.
sp1234 有没有好的方法或者建议?