一千万条600m的csv文件,用Python排序处理常规方法可行么

江疾. 2019-07-24 11:45:20
手上有个巨大的csv要排序,但是不知道直接写csv的排序可行不可行
...全文
117 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
江疾. 2019-07-24
  • 打赏
  • 举报
回复
求大神。。。。。。。。。。。。
tianfang 2019-07-24
  • 打赏
  • 举报
回复
分块(比如 1万条)排序,然后排序后的多个序列,两两合并,可以使用并发处理进行加速。
小羽Jary 2019-07-24
  • 打赏
  • 举报
回复
600M最多也就几亿行数据吧,太大可以上spark的daatframe来排序,比python会快。

37,720

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧