社区
脚本语言
帖子详情
python在有限资源下如何把一个大数组写出到csv文件
夜晚会哭的猫
2017-11-16 10:41:41
资源情况:8c 16G内存
当前情况:
组合数C(11,30)所有的元素生成大数组(numpy数组),用to_csv写出到文件,后期用read_csv分块读入做循环计算。目前在生成大数组,写出到文件的过程中内存占满卡死。后面部分没有问题。请教如何解决这个问题,有从数学角度考虑过分拆组合,没搞出来。
...全文
205
6
打赏
收藏
python在有限资源下如何把一个大数组写出到csv文件
资源情况:8c 16G内存 当前情况: 组合数C(11,30)所有的元素生成大数组(numpy数组),用to_csv写出到文件,后期用read_csv分块读入做循环计算。目前在生成大数组,写出到文件的过程中内存占满卡死。后面部分没有问题。请教如何解决这个问题,有从数学角度考虑过分拆组合,没搞出来。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
oyljerry
2017-11-16
打赏
举报
回复
c(m,n)=c(m-1,n-1)+c(m-1,n)
oyljerry
2017-11-16
打赏
举报
回复
c(m-1,n-1)+c(m-1,n)
不是可以拆分吗,然后每一个结果保存下来,后面计算的时候直接使用。
夜晚会哭的猫
2017-11-16
打赏
举报
回复
对,拆分组合是对的,数学不好,搞不出来
夜晚会哭的猫
2017-11-16
打赏
举报
回复
现在就是在内存中生成数组时占光了资源,后期分块写或读都是可以的。目前想的是如何分拆在内存中生成这个大数组, 或者有别的占资源少的数据类型生成,分块写的时候再转类型
oyljerry
2017-11-16
打赏
举报
回复
分块处理,先看能不能内存中生成数组,如果可以,那么就不要一次性写入文件,而是把数组一部分分一部分写入 如果数组也不能生成,那就是拆分组合的公式到各个子公式,分别计算,分别写入文件
夜晚会哭的猫
2017-11-16
打赏
举报
回复
多谢版主,这个公式c(m,n)=c(m-1,n-1)+c(m-1,n)得到的结果数是对的,但是我想得到的其实是元素组合内容 如C(3,2)的[(1,2),(2,3),(1,3)],然后元素写出到文件。这样的话感觉这个公式就用不了。 我查了xrange和range的区别,我想这样循环的写出,看看到时能否解决问题 listb2 = itertools.combinations(xrange(1, 30), 10) for item in listb2: print item
python
数据分析基础
8个常用
python
工具库 + 10小时以上视频课程 + 50个工作常用技能 + 4个爬虫案例 + 10个行业数据分析案例, 介绍
python
数据分析、爬虫基础技巧, 助你提升职场竞争力, 转行、应聘简历加分。 课程介绍
python
数据读取、...
python
处理大数据集的7个技巧(内存
有限
)
How to Work with BIG Datasets on 16G RAM (+Dask) 本文为转载,原文链接: How to Work with BIG Datasets on 16G RAM (+Dask) | Kaggle 本文有精简。 TIP 1 - Deleting unused variables and gc.collect() if you used up a dataframe (or other variable), get in the habit of deleti
python
处理大量数据思路_
Python
大规模数据的处理技巧
目前在数据分析和挖掘领域内,最为热门的莫过于
Python
和R了,不过这两门语言一直因为不好处理大规模的数据而被人们调侃,同时,hadoop和spark也因此应运而生。然而,其实
Python
在大规模的数据处理上也并非像传言所说的那么慢。甚者,其中也蕴含了挺多的技巧让我们能够利用
Python
对大规模的数据进行分析计算。下面就
Python
操作大规模数据时可能会遇到的问题,给出一些个人的见解。问题一:大数...
基于
python
的时间序列分析_
python
时间序列分析
一、什么是时间序列时间序列简单的说就是各时间点上形成的数值序列,时间序列分析就是通过观察历史数据预测未来的值。在这里需要强调一点的是,时间序列分析并不是关于时间的回归,它主要是研究自身的变化规律的(这里不考虑含外生变量的时间序列)。环境配置
python
作为科学计算的利器,当然也有相关分析的包:statsmodels中tsa模块,当然这个包和SAS、R是比不了,但是
python
有另
一个
神器:pand...
python
模拟手写笔迹_
Python
实现基于KNN算法的笔迹识别功能详解
本文实例讲述了
Python
实现基于KNN算法的笔迹识别功能。分享给大家供大家参考,具体如下:需要用到:Numpy库Pandas库手写识别数据 点击此处本站下载。数据说明:数据共有785列,第一列为label,剩下的784列数据存储的是灰度图像(0~255)的像素值 28*28=784KNN(K近邻算法):从训练集中找到和新数据最接近的K条记录,根据他们的主要分类来决定新数据的类型。这里的主要分类,...
脚本语言
37,720
社区成员
34,239
社区内容
发帖
与我相关
我的任务
脚本语言
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
复制链接
扫一扫
分享
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
试试用AI创作助手写篇文章吧
+ 用AI写文章