python中使用numpy数组读数据MemoryError问题

[篱笆墙的篱笆]

在使用python过程中，读取文件数据到numpy数组中，大概是5万行，350列，出现内存错误，是因为数据量太大了么。。。
Traceback (most recent call last):
File "npdataextra.py", line 12, in <module>
data1 = np.loadtxt(f1,delimiter=",")
File "/usr/lib/python2.7/dist-packages/numpy/lib/npyio.py", line 856, in loadtxt
X = np.array(X, dtype)
MemoryError

[斯温jack]

或许你可以试一下稀疏据阵（Sparse）

[sprawling]

感觉像是,我写了个测试数据,载入时也是一样的效果.

#!/usr/bin/python
# -*- coding:utf-8 -*- 

import numpy as np
import random

f1 = open('data1.txt','w')

v1 = 2**32-1
for i in range(100000):
    print i
    for j in range(350):
        s1 = str(random.randint(0,v1))
        f1.write(s1)
        f1.write(',')
    f1.write('\n')

f1.close()

这个数据产生的文件有300多M 当数据降到10000时就可顺利载入

@my_thinkpad[L:01-391815450]|17> run test.py
@my_thinkpad[L:01-391815450]|18> who
data1    f1      i       j       np      random  s1      v1
@my_thinkpad[L:01-391815450]|19> data1.shape
                            <19> (10000, 351)

[tianfang]

python3 +64位操作系统可以解决这个问题