5,889
社区成员
发帖
与我相关
我的任务
分享关于海量数据的处理问题
每天大概有100多万条的数据需要从日志文件中读取出来，处理完后插入数据库表，各位有什么好的方案吗？主要是性能方面
...全文
请发表友善的回复…
发表回复
chenxw_mail 2007-07-04
- 打赏
- 举报
db2的load?不懂，另外把这么大的文件一次性装入内存会不会浪费了点？有没有好一点的办法？真的是不懂，各位帮帮忙了
yangxiao_jiang 2007-07-04
- 打赏
- 举报
java 读文件的方式就那么几种，只能仔细一点，另外，楼上说的也可以，用db2来处理load过程。
shijubo 2007-07-04
- 打赏
- 举报
如果分析后觉得可以先把日志都装入数据库，让数据库来处理的话，可以用db2 load来装，这个是很快的。
yangxiao_jiang 2007-07-03
- 打赏
- 举报
按照你的要求，最慢的部分是从日志文件读数据，这个步骤是很慢的，还需要处理，可以把处理的部分放到数据库里执行，现插数据库，然后执行处理过程。
chenxw_mail 2007-07-03
- 打赏
- 举报
嗯，对于读文件有什么好的方法吗？我是用java的
yangxiao_jiang 2007-07-03
- 打赏
- 举报
100多万条的日志文件，会比较大，从文件读本来就是很慢的，但是这个步骤是不能省略的。
所以这个程序最主要的效率就是看读文件这个部分的效率。
数据的处理，这个过程要看是否复杂，可以把数据的处理交给数据库进行，就是读数据查入到数据库中，然后用存储过程来处理数据。
所以这个程序最主要的效率就是看读文件这个部分的效率。
数据的处理，这个过程要看是否复杂，可以把数据的处理交给数据库进行，就是读数据查入到数据库中，然后用存储过程来处理数据。
chenxw_mail 2007-07-03
- 打赏
- 举报
不是很明白，可以详细说一下吗？我是新手。只要能在一两个小时内执行完就可以的
