超量数据处理的性能问题?

yqyqyoyo 2008-04-21 04:34:15
如题:现有超级量的数据需要处理。处理方式先不看,怎么样来优化程序处理的时间。让程序的处理时间越短越好。
例如: 现在数据库表TabA中有数据1000W条,
设 TabA的格式如下:
id title nick date
1 aaa 12 1999-12-12
1 aaa 12 1999-12-12
1 aaa 12 1999-12-12
1 aaa 12 1999-12-12
1 aaa 12 1999-12-12
.
.
.
1000W aaa 12 1999-12-12

假设现在需要从中读取一条(id=562W)数据,用什么方法读取的速度最快?怎么样才能做到效率更高?
...全文
157 8 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
8 条回复
切换为时间正序
请发表友善的回复…
发表回复
yqyqyoyo 2008-04-21
  • 打赏
  • 举报
回复
查询数据的时候我知道可以通过对数据库建立索引来优化.
问题是,在我同时向数据库表中插入1000W数据的时候,怎么样优化呢?
注: 这1000W数据几乎是同时产生,并同时向数据库表进行添加操作. 最重要的就是这个问题,对于查询优化方面我现在找到了解决的办法.
sp1234 有没有好的方法或者建议?
  • 打赏
  • 举报
回复
从100万条记录索引中查询一个值,与从不足千条记录索引中查询一个值所花的时间的差别微乎其微!很自然地从一开头就应该去声明好索引再去写查询程序。

看来楼主没学好B+树或者索引方面的数据结构知识。
yqyqyoyo 2008-04-21
  • 打赏
  • 举报
回复
正在迷茫中......
对于这种超级重量级数据的处理方式。
目前自己还没有找到合理的处理方式,
做了一个实验 双核CUP 2G物理内存的机器,
在对数据库只做添加操作时 1000W数据大概需要30分钟才能完成。
有什么办法可以让1000W数据添加数据库中仅仅只需要几分钟,或者几秒中就能完成呢?

有没有高手给出建议啊?
大家一起讨论也行!!
一品梅 2008-04-21
  • 打赏
  • 举报
回复
[Quote=引用 4 楼 yqyqyoyo 的回复:]
加了索引,使用存储过程,
另外 还有可能发生的情况
在同一时间几乎同时向
同一个数据库表中新添加上百万
甚至上千万的数据, 遇到这样的问题怎么样处理。


上面说的只不过是个假设的查询问题,我的意思是主要针对批量的大量数据处理。
同时这个又必须是B/S模式。在硬件方面提高性能的话,就不用说了。

现在需要考虑的是怎么样做,才能把系统的性能提高到最好!
不管是对数据表的操作是查询、…
[/Quote]
楼主在研究什么课题?带上我好么?
yqyqyoyo 2008-04-21
  • 打赏
  • 举报
回复
加了索引,使用存储过程,
另外 还有可能发生的情况
是在同一时间几乎同时向
同一个数据库表中新添加上百万
甚至上千万的数据, 遇到这样的问题怎么样处理。

上面说的只不过是个假设的查询问题,我的意思是主要针对批量的大量数据处理。
同时这个又必须是B/S模式。在硬件方面提高性能的话,就不用说了。

现在需要考虑的是怎么样做,才能把系统的性能提高到最好!
不管是对数据表的操作是查询、修改、删除、新增。
注意,这里的操作可能都是同时发生在上百万级的数据量同时并发。
请问各位高手,有什么办法可以在最短的时间内完成这样的操作?
同时 大概需要多少时间?假设同时处理的数据量为1000W
hb9191 2008-04-21
  • 打赏
  • 举报
回复
[Quote=引用 1 楼 only_endure 的回复:]
加索引
[/Quote]
给ID建索引
一品梅 2008-04-21
  • 打赏
  • 举报
回复
使物理符合逻辑顺序
一品梅 2008-04-21
  • 打赏
  • 举报
回复
加索引

62,243

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术交流专区
javascript云原生 企业社区
社区管理员
  • ASP.NET
  • .Net开发者社区
  • R小R
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见,支持健康理性的辩论和互动,反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧