一个大文件根据第二个项目计算余数值,然后放到余数对应的同名文件
zyfqw 2017-06-27 10:48:41 一个文件叫file_all.txt,行数很多,有上百万件,现在想分割成8个文件
文件以逗号作为分隔符,根据第二个数值型项目,除以8,如果余数为1,那么这行就写到file_1.txt里,如果刚好整除,那就写到file_0.txt里
我用while循环,先用sed取出当前循环出来的这行,然后用awk取出这行的第二个项目,再计算余数,然后把这行写入对应余数的文件里
效果是可以达到,但好像速度太慢了,平均一秒钟才能做10条数据,上百万条那要做一天了
求高手指教一个效率高的写法,万分感谢