请教pandas的dataframe相关问题

xxxLiangSaide 2019-03-26 06:21:23

目前有项工作是把dataframe写入excel，测试了一个小数据集可以实现，但可能是受限于硬件，无法顺利将大数据集写入excel。想请教一下有什么好的思路吗？？

...全文

216 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

xxxLiangSaide 2019-03-28

打赏
举报

回复

引用 1 楼 tianfang 的回复：

大数据就要放弃excel ，excel是为了人阅读的，超过10个屏幕/A4纸的可视范围，就不适合excel，sheet数量也是有限制的

明白了，谢谢！我再试试别的方式！

xxxLiangSaide 2019-03-28

打赏
举报

回复

引用 2 楼陈年椰子的回复：

好像最多65534 行，建议数据量大的话，按5万一个EXCEL文件。批量生成N各文件。如果数据集达到百万级别以上， EXCEL没有啥意义了。搞CSV 或者直接文本。

csv格式的优势是什么呢？

tianfang 2019-03-27

打赏
举报

回复

大数据就要放弃excel ，excel是为了人阅读的，超过10个屏幕/A4纸的可视范围，就不适合excel，sheet数量也是有限制的

陈年椰子 2019-03-27

打赏
举报

回复

好像最多65534 行，建议数据量大的话，按5万一个EXCEL文件。批量生成N各文件。如果数据集达到百万级别以上， EXCEL没有啥意义了。搞CSV 或者直接文本。

之前沉迷于使用index删除，然而发现pandas貌似有bug？ import pandas as pd import numpy as np df = pd.DataFrame(np.arange(12).reshape(3,4), columns=['A', 'B', 'C', 'D']) x=[1,2] df.drop(index=[1,2], axis=1, inplace=True) #axis=1，试图指定列，然并卵 print df 输出为 A B C D 0 0 1 2 3 还是按照行进行了删除后来请教大神得知，可以用： df.drop(df

在寻找这个答案答案时在百度找了很长时间，发现全都是这样的例子：怎样利用Pandas将List列表转换为Dataframe？这不是我想要的。现在终于解决了自己的问题，所以在此分享。问题很简单，就是List里包含了表头（列标签），如下图百度了半天没有找到相应的例子，查到的都非常雷同的如????第一个分享，百度真是帮不了太多的忙，只好去请教高手，要知道命令时间上非常简单！ df2w = pd.DataFrame(df_data_list[1:],columns=df_data_list[0]) df2

内容介绍1.大量练习Series数据结构的基础操作。 2.大量练习DataFrame数据结构的基础操作。 3.将工作中的数据分析工作用Pandas做分析测试。章节介绍第1章讲解Pandas中Series数据的各种基本操作，为后面顺利做数据分析打基础。第2章讲解Pandas中DataFrame数据的各种基本操作，为后面顺利做数据分析打基础。第3章对Series和DataFrame的索引进一步做详细讲解。这些都是能学习Pandas数据处理的重要基础。第4章如果快速实现对数据的各分析操作，快速得到想要的报表。

之前沉迷于使用index删除，然而发现pandas貌似有bug？ import pandas as pd import numpy as np df = pd.DataFrame(np.arange(12).reshape(3,4), columns=['A', 'B', 'C', 'D']) x=[1,2] df.drop(ind...

首先，我搞了个这样的事:pdTable1 = pd.DataFrame()pdTable2 = pd.DataFrame()pdTable3 = pd.DataFrame()pdTable4 = pd.DataFrame()pdTable5 = pd.DataFrame()pdTable6 = pd.DataFrame()然后我弄了个事，把这 6 个 df 都放了内容，要进行统一改列名，原本我是这...

37,719

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章