一个大文件根据第二个项目计算余数值，然后放到余数对应的同名文件

[zyfqw]

一个文件叫file_all.txt，行数很多，有上百万件，现在想分割成8个文件
文件以逗号作为分隔符，根据第二个数值型项目，除以8，如果余数为1，那么这行就写到file_1.txt里，如果刚好整除，那就写到file_0.txt里

我用while循环，先用sed取出当前循环出来的这行，然后用awk取出这行的第二个项目，再计算余数，然后把这行写入对应余数的文件里

效果是可以达到，但好像速度太慢了，平均一秒钟才能做10条数据，上百万条那要做一天了

求高手指教一个效率高的写法，万分感谢

[codingMozart]

while循环和sed干嘛的，直接awk不就行了，100万行也就几m应该挺快的啊

[LubinLew]

文件处理主要就是grep awk 和 sed, 你最好贴几行例子看看

[zyfqw]

谢谢一楼
我现在写法是
awk -F, 'BEGIN{file0="File_0";file1="File_1";num="8"}
{if($2%num==0) print $0 >> file0;else if($2%num==1) print $0 >> file1}' File_All

定义的里面，以及if判定里面，还有2到7在这里就没有写出来了，实际是有的

我试了下百万件，速度还是很快的，一分钟内