Matlab计算大矩阵相乘的问题求解

[王宇伟]

对于一个矩阵A
可以用Matlab直接计算 B=AA'（A'是A的转置）
但是A是个很大的矩阵（4000行500000列），内存很小机器上的Matlab一下子运行不了
有什么算法可以在有限的内存下将这个矩阵乘法任务完成，时间无要求但内存要小

[libralibra]

分块矩阵的乘法

对于矩阵乘法要注意对应子块要确保相乘是有意义的（第一个子块的列数等于第二个的行数）

设A为m × l矩阵 , B为l × n矩阵 ,分块成：


若A的子块的列数等于B对应子块的行数则：

[unmapped]

>> memory Maximum possible array: 22033 MB (2.310e+10 bytes) * Memory available for all arrays: 22033 MB (2.310e+10 bytes) * Memory used by MATLAB: 860 MB (9.016e+08 bytes) Physical Memory (RAM): 24574 MB (2.577e+10 bytes) * Limited by System Memory (physical + swap file) available. >> aa=rand(4000,500000,'double'); >> memory Maximum possible array: 6746 MB (7.074e+09 bytes) * Memory available for all arrays: 6746 MB (7.074e+09 bytes) * Memory used by MATLAB: 16119 MB (1.690e+10 bytes) Physical Memory (RAM): 24574 MB (2.577e+10 bytes) * Limited by System Memory (physical + swap file) available. >> whos aa Name Size Bytes Class Attributes aa 4000x500000 16000000000 double 直接耗去了十几GB的内存， 换用64位计算机吧

[王宇伟]

引用 1 楼 libralibra 的回复:

分块矩阵的乘法 对于矩阵乘法要注意对应子块要确保相乘是有意义的（第一个子块的列数等于第二个的行数） 设A为m × l矩阵 , B为l × n矩阵 ,分块成： 若A的子块的列数等于B对应子块的行数则：

根据矩阵分块的思路，问题详细的解决方案： 问题：矩阵大小A:3585行531543列大小，以稀疏矩阵的方式存于txt文件中； 将矩阵的每一行看做一个记录，需要计算两两记录之间的向量积，因矩阵过大内存不足，B=AA'无法一次完成 解决过程：将矩阵按行分割，每20条记录（20行531543列）作为一个子矩阵，分别以稀疏矩阵形式存于txt文件0.txt至179.txt共180个子矩阵，最后一个矩阵是5行531543列； 子矩阵相乘

function out=Sim(i,j) %i,j是两子矩阵存储的文件名
D1=dlmread(strcat(num2str(i),'.txt'));
D2=dlmread(strcat(num2str(j),'.txt'));
A1=spconvert(D1);
A2=spconvert(D2);
AF1=full(A1);
AF2=full(A2);
if size(AF1,2) < 531543  //稀疏矩阵存储，为0的未存储，将其补上
    AF1=[AF1,zeros(size(AF1,1),531543-size(AF1,2))];
end
if size(AF2,2) < 531543
    AF2=[AF2,zeros(size(AF2,1),531543-size(AF2,2))];
end
out=AF1*AF2';

Step1:

for i=0:179
    A=Sim(i,0);
    for j=1:179
        A=[A,Sim(i,j)];  %横向拼接
    end
    dlmwrite(strcat('sim',num2str(i),'.txt'),A,'delimiter',' ');
end

Step2:

A=dmlread(strcat('sim0.txt'));
for i=1;179
   A=[A;dmlread(strcat('sim',num2str(i),'.txt'));  %纵向拼接
end
 dlmwrite('sim.txt',A,'delimiter',' ');

[王宇伟]

http://www.ilovematlab.cn/thread-276908-1-1.html