python如何只提取特定列的数据

weixin_39801216 2017-08-29 05:03:25
由于数据量太大(3G),列较多(33列),所以数据导入的时候很慢,我想把数据导进去进行groupby等操作,求问各位大神在
pd.read_table时能只提取特定列的数据么?如果不能,我该怎么处理呢?太慢了,要崩溃了

import os
import pandas as pd
wd=os.getcwd()
os.chdir(os.path.dirname('更新数据.txt'))
chunker=pd.read_table(os.path.basename('更新数据.txt'),encoding='GB2312',sep='|',engine='python',iterator=True,chunksize=100000)
os.chdir(pwd)
chunks=[]
for chunk in chunker:
chunks.append(chunk)
df=pd.concat(chunks,ignore_index=True)
...全文
2004 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

37,720

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧