Java上传大量文件如果避免内存溢出问题

[MR小陳]

RT..

思路:

利用两个线程:线程1.读取上传的文件(2M)到内存。线程2.处理内存中的数据。

但总认为这里处理上面有些许问题。


求..实现代码。

任何想法或者意见均可。

[heardy]

String fileName = null;
fileName = "name";
File f = new File( fileName );
FileOutputStream fi = null;
fi = new FileOutputStream( f );
IOUtils.write( b, fi );//将接受到的byte流写入file里面
IOUtils.closeQuietly( fi );//关闭流写入
处理缓存文件f
f.delete();//删除缓存文件

[MR小陳]

这能行?

[Quote=引用 8 楼 heardy 的回复:]

Java code

String fileName = null;
fileName = "name";
File f = new File( fileName );
FileOutputStream fi = null;
fi = new FileOutputStream( f );
IOUtils.write( b, fi );//将接受到的byte流写入file里面
IOUtils.c……
[/Quote]

[MR小陳]

来个正点的注释啊。

[heardy]

这个是片段啊

我这个我之前是下载时用的，先从数据库获取byte流 写入file里面缓存 在进行下载 删除

由于内存存不了这么多数据 所以要放到file里面先 进行缓存

还有 你传的数据量如此之大 如果传输中断， 那不是前面的白费了

我任务前台先把要传输的数据进行分割，然后一段一段的传到服务器，保持续传功能

[MR小陳]

[Quote=引用 11 楼 heardy 的回复:]

这个是片段啊

我这个我之前是下载时用的，先从数据库获取byte流 写入file里面缓存 在进行下载 删除

由于内存存不了这么多数据 所以要放到file里面先 进行缓存

还有 你传的数据量如此之大 如果传输中断， 那不是前面的白费了

我任务前台先把要传输的数据进行分割，然后一段一段的传到服务器，保持续传功能
[/Quote]

可以将你的下载源码给我吗?

[e-mail]

[MR小陳]

额。 错了...邮箱是:[e-mail]

[沉默的飞鱼]

2M的不算大，用struts的上传就够了啊。为什么会内存溢出？

[MR小陳]

数据TB级..

2M是一次读取2M到内存中..

[Quote=引用 1 楼 yangshuai518 的回复:]

2M的不算大，用struts的上传就够了啊。为什么会内存溢出？
[/Quote]

[FunnyRabbit]

我也有这样的问题。等待好的解决办法

[想喝咖啡的貓]

缓存换成本地文件，
线程1:从客户端接受到的写到本地缓存文件里。
线程2:处理本地缓存的数据。

本地缓存可以是临时文件。
放内存太危险了，如果数据处理不及时，很容易内存溢出。

[ifengshow]

多少大量的？

[MR小陳]

G级吧。

[Quote=引用 5 楼 ifengshow 的回复:]

多少大量的？
[/Quote]

[MR小陳]

[Quote=引用 4 楼 afer198215 的回复:]

缓存换成本地文件，
线程1:从客户端接受到的写到本地缓存文件里。
线程2:处理本地缓存的数据。

本地缓存可以是临时文件。
放内存太危险了，如果数据处理不及时，很容易内存溢出。
[/Quote]

有类似的处理代码吗?

[火龙果被占用了]

TB 级的数据你用 HTML 的 form 上传？

一个文件就有 TB 级别，你确定这是文件？

[MR小陳]

各位大虾。

假如现在我只要求Java能上传1G的单个文件。能有什么好方法吗?

smartupload在不设计tomcate好像不能。

[MR小陳]

[Quote=引用 15 楼 bao110908 的回复:]

TB 级的数据你用 HTML 的 form 上传？

一个文件就有 TB 级别，你确定这是文件？
[/Quote]

呵呵。 搞错了..

不过现在问题已经解决了。

谢谢各位兄台！

[wangjiangbo2]

smartupload能支持１Ｇ以上的文件上传吗？

[wodejiazaidongbeia]

LZ你问题是怎么解决的嗫？小弟也遇到和你一模一样的问题，能分享一下心得吗？或者传个源码看看，感激涕零啊！！！