求解,关于大数据量文件的处理问题。小弟给各位作揖了。。。。。
现在有一个文本文件
里面是以逐行方式排列的用户账号
我需要把里面的账号导入数据库中
文本里差不多有20万条记录,也就是20万行
而且在处理中必须要判断
例如账号是否重复等。。。。
测试了一下
10000以下还能承受
超过基本就未响应了
我的处理方法是先通过StreamReader.ReadLine()循环读取这个文本
问题是在循环中还需要判断
光20万次循环就够呛了
三分钟过去都没反映
so,问题是:有什么好的办法能改进这个读取速度,使之能承受多一点数据量
ps:我也知道用文本存这么大数据很sb,但是客户那边都是些业务员来搞这玩意(不懂电脑的火星人?)
谢谢各位,进来的有意见提意见,没意见帮顶,照给分