社区
脚本语言
帖子详情
如何用python排序大文件的csv文件
Pory
2015-04-01 10:05:02
希望对csv的第一个类目做升序排列,csv文件有接近600M,如果直接将所有条目装进list,然后排序会出现内存不够的提示,求解决方法?
...全文
332
7
打赏
收藏
如何用python排序大文件的csv文件
希望对csv的第一个类目做升序排列,csv文件有接近600M,如果直接将所有条目装进list,然后排序会出现内存不够的提示,求解决方法?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
ImN1
2015-04-16
打赏
举报
回复
list 排序是生成新 list,内存占用更大,所以考虑是改用映射方式或者缩减 list 的容量 1.转换思维,逐行读入,提取要排序内容,舍弃无关排序内容;排序,然后再次逐行对比排序后内容,输出 2.转换成SQL 3.尝试pandas/numpy等
旋转的胖子
2015-04-16
打赏
举报
回复
分割文件为多个小文件,开启多线程依次对每个小文件读取放到数据库,在数据库里面排序好了,再读出来,保存成CSV. 个人觉得这样: 1.分割成小文件,处理每个文件的时候,占用内存比较小 2.多线程处理速度快 3.数据库比较擅长排序,如果用python的列表排序,都要读入内存,太占内存了.
thomashtq
2015-04-14
打赏
举报
回复
可以采用外排序法: 切成小文件 + 归并排序了
nieoding
2015-04-10
打赏
举报
回复
1.尝试一下用Pywin32里面excel的接口去做一下排序,它是用微软底层接口的排序。 2.导入到数据库排序。
swjtutipo
2015-04-02
打赏
举报
回复
参考如何将大量数据放入有限内存 http://python.jobbole.com/80753/#comment-91788
shiter
2015-04-02
打赏
举报
回复
这个能不能做一个内存映射啥 ,我瞎猜的。。。
乔巴好萌
2015-04-01
打赏
举报
回复
1) 加内存,能加物理内存最好,加不了上swap分区。 2)借鉴外排序的机制,http://baike.baidu.com/link?url=-XPef-vDS2hgE9V19wg5PmGTWblLjxuOgotWILJMSYC8zqD2Ev4eT36seyG3b2W3hzR3pSCGSCW5FDJTIo9a6a 你可以随机读取csv文件中的一个条目,小于这个条目的先被排序,结果写入到外部硬盘,大于此条目的再排序,写入硬盘,对2者的结果做归并排序即可。
Python
-
CSV
toTable简单的命令行工具能将
CSV
文件
转换为可搜索和可
排序
的HTML表格
CSV
toTable 简单的命令行工具能将
CSV
文件
转换为可搜索和可
排序
的HTML表格
用
python
给
csv
里的数据
排序
的具体代码
2、使用pandas组件,对
文件
进行
排序
。 3、命令行执行数据获取及
排序
,写入
文件
; 以下是完整代码: #coding:utf-8 import re import argparse import pandas as pd parser = argparse.ArgumentParser...
用
Python
处理PDF
文件
本课程主要结合
Python
的pdfplumber包和pypdf2包介绍用
Python
自动处理PDF
文件
的方法。 相关套餐: 所属系列课程:
Python
+VBA办公自动化系列课程-CSDN程序员研修院。20+课程,不断增加和更新。 讲师:童大谦 ...
Python
数据可视化(处理地下车库情况的
CSV
文件
,统计信息并绘图)
此资源充分使用了
Python
的pandas库来进行
CSV
文件
和Excel
文件
的处理工作,包括数据分组、
排序
、导出、插入等。绘制柱状图时不仅需要使用pandas库,还需要matplotlib库,前者用来做数据处理,后者用来做图像的展示和...
python
实现对
csv
文件
的读取和对第5列的
排序
with open('C:\\Users\\lys\\Desktop\\countries_zh .
csv
','r') as f:#打开
文件
地址我的地址是这个别人的还得改一下 table=[]#开个列表 No1=f.readline()#读取一行因为我的第一行是目录所有先读取了就不用计算了 ...
脚本语言
37,718
社区成员
34,238
社区内容
发帖
与我相关
我的任务
脚本语言
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
复制链接
扫一扫
分享
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
试试用AI创作助手写篇文章吧
+ 用AI写文章