社区
Java SE
帖子详情
JAVA怎么处理大于2G甚至20G的文件?
peer3002
2010-08-08 09:22:48
1. JAVA怎么处理大于2G甚至20G的文件?
2. mappedByteBuffer是不是没有底层实现数组? 也就是说:mappedByteBuffer.array() 没用是吗?
...全文
897
9
打赏
收藏
JAVA怎么处理大于2G甚至20G的文件?
1. JAVA怎么处理大于2G甚至20G的文件? 2. mappedByteBuffer是不是没有底层实现数组? 也就是说:mappedByteBuffer.array() 没用是吗?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
9 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
火龙果被占用了
2010-08-09
打赏
举报
回复
处理大文件?这“处理”的讲究可就大了!
先把“提问的智慧”看一下再来问吧!
http://community.csdn.net/IndexPage/SmartQuestion.aspx
peer3002
2010-08-09
打赏
举报
回复
long start = 0L;
long bufSize = 4096000L;
MappedByteBuffer mapBuffer = fc.map(FileChannel.MapMode.READ_WRITE, start,bufSize);
...
long start = start + bufSize;
MappedByteBuffer mapBuffer = fc.map(FileChannel.MapMode.READ_WRITE, start,bufSize);
...
peer3002
2010-08-09
打赏
举报
回复
第二个问题:mappedByteBuffer 是直接缓冲,所以缓冲区还在os的内存里,不在java的内存区域内,所以应该没有底层实现数组。要用的话要自己定义数组,再从buffer读到数组(java的内存区域内}。
peer3002
2010-08-09
打赏
举报
回复
昨晚一宿未眠,终于想到了办法。就如 redduke1202 所说,分部分处理,最好用mappedByteBuffer,这样效率要高很多。
早上想来,还是自己对深入的细节不真正理解所致。看来还要认真读书理解才不会有这样的愚蠢问题。
感谢大家的关注!
yushiqiang1688
2010-08-08
打赏
举报
回复
RandomAccessFile吧,详细见JDK帮助文档!
dr_lou
2010-08-08
打赏
举报
回复
RandomAccessFile吧,用多少读多少。
w_s254322
2010-08-08
打赏
举报
回复
写几个线程,分部执行!
「已注销」
2010-08-08
打赏
举报
回复
超大文件的话,只能一部分一部分处理
java里的byte[],最大只支持 2G-1字节长吧
因为数组的 length属性是int
宅男小何
2010-08-08
打赏
举报
回复
关注、、、、
OpenCV3.2
Java
图像
处理
视频学习教程
OpenCV3.2
Java
图像
处理
视频培训课程:基于OpenCV新版本3.2.0详细讲述
Java
OpenCV图像
处理
部分内容,包括Mat对象使用、图像读写、 基于常用核心API讲述基本原理、使用方法、参数、代码演示、图像
处理
思路与流程讲授。主要内容包括opencv像素操作、滤波、边缘提取、直线与圆检测、形态学操作与分水岭、图像金子塔融合重建、多尺度模板匹配、opencv人脸检测、OpenCV跟Tomcat使用实现服务器端图像
处理
服务。
使用
java
读取大文本
文件
(
2G
)
最忌服务器不稳定一直出现各种问题,莫名其妙的出现404,500的等错误,并且时好时坏。 只有分析web 服务器的日志,上去一看,我滴个神呢~~~
2G
。 工具各种尝试,各种卡死,各种缓慢。折腾半天,,没辙~~ 只好使用
java
写个读取的吧,开始打算使用commons-io来读取,一运行,...
Java
2g
文件
转字节流_使用
java
读取大文本
文件
(
2G
)
最忌服务器不稳定一直出现各种问题,莫名其妙的出现404,500的等错误,并且时好时坏。只有分析web 服务器的日志,上去一看,我滴个神呢~~~
2G
。工具各种尝试,各种卡死,各种缓慢。折腾半天,,没辙~~只好使用
java
写个读取的吧,开始打算使用commons-io来读取,一运行,OOM了。看来只能使用一点点读取了,写了下面的代码。居然可以了。public class AnlyLogApache {...
java
超大文本_
java
处理
大文本
2G
以上
面试中经常碰到类似问题,问题的关键我觉得是用设置一个缓冲区还有一个思路 是通过Linux split 命令将
文件
直接切割成小
文件
,再进行
处理
再汇总。或者jdk7提供的 forkjoin 框架,利用forkjoinpool管理的线程池,
处理
此种问题,未尝试过。以下内容转自: http://blog.csdn.net/sysmedia/article/details/78030113如下的程序,将一个...
解决远程windows server12桌面复制
文件
大于
2G
出错问题
windows上的远程桌面是一个很好用的功能,可以 方便的访问另外的windows电脑,同时拷贝
文件
,执行
文件
等等。但是在使用的时候发现复制
大于
3G的
文件
时,就会报错。经过研究,解决问题的方案就变成了本篇经验,下面跟我一起来看怎么解决吧。 如下面第一张图所示,是一个系统的安装镜像。有5.75个G,直接在远程桌面上复制
文件
的时候,会提示出错,未指定的错误。 下面来开始解决这个问题,右键单击桌面上的远程桌面图标,然后点击远程桌面连接。弹出来窗口后,不要忙着点连接,而是点击...
Java SE
62,614
社区成员
307,327
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章