社区
Java SE
帖子详情
一个日志文件过大,要如何读取,才可以保证不会出现内存溢出
huangzebiao007
2014-02-24 10:58:35
有一个日志文件,现在是每次读取一行后就存放在List<String>集合中,都读取完后再去取List中的值去做相应的处理,如果当这个日志文件很大时,那该如何处理,才能保证不会出现内存溢出
...全文
510
7
打赏
收藏
一个日志文件过大,要如何读取,才可以保证不会出现内存溢出
有一个日志文件,现在是每次读取一行后就存放在List集合中,都读取完后再去取List中的值去做相应的处理,如果当这个日志文件很大时,那该如何处理,才能保证不会出现内存溢出
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
kevinlifeng
2014-02-25
打赏
举报
回复
这种都是分批处理的,if(n%100 == 0) ,然后就处理,就帮list.clear(),然后再往list里增加数据
huangzebiao007
2014-02-25
打赏
举报
回复
引用 2 楼 coolbamboo2008 的回复:
不要一次性的读完 读取一定行数就开始处理 这种事最好用个脚本程序来做
你的意思是假设读取1000行后,处理完,就把list.clear()清空吗
乔不思
2014-02-25
打赏
举报
回复
感觉二楼的不错
冰点.
2014-02-25
打赏
举报
回复
分批读取文件
tony4geek
2014-02-25
打赏
举报
回复
分批了。读取,
coolbamboo2008
2014-02-25
打赏
举报
回复
不要一次性的读完 读取一定行数就开始处理 这种事最好用个脚本程序来做
ghostkngiht
2014-02-25
打赏
举报
回复
List中只存储需要的部分,不要全部读入。
python
读取
大
文件
,避免
内存溢出
####python
读取
大
文件
最近在学习python的过程中接触到了python对
文件
的
读取
。python
读取
文件
一般情况是利用open()...但是如果是将
一个
10G大小的
日志
文件
读取
,即
文件
大于内存的大小,这么处理就有问题了,会造成M...
python
读取
大
文件
内存不够_python
读取
大
文件
,避免
内存溢出
最近在学习python的过程中接触到了python对
文件
的
读取
。python
读取
文件
一般情况是利用open...但是如果是将
一个
10G大小的
日志
文件
读取
,即
文件
大于内存的大小,这么处理就有问题了,会造成MemoryError ... 也就是发生...
PHP
读取
大
文件
防止
内存溢出
,SplFileObject、fopen、fseek三种实现
第一种:使用fopen逐行
读取
(测试在
日志
文件
较大耗时时间会比较长,如果只是
读取
一次,可直接使用
读取
。 如果对
日志
实时计算处理,可采用SPL类库即可fopen来实现) fseek分块
读取
此处就不提供示例代码,可自行查找。...
科研
日志
--python大
文件
打开
内存溢出
关于python运行大
文件
导致死机的问题 ...但最终因为所设置的model变量需要将5.6GB
文件
的数据全部转换为.npy的形式,占用内存
过大
导致溢出。 所用代码片段如下: count=0 model = {} fp = codecs.open("filenam...
Java
读取
文本
文件
(一般
读取
日志
文件
进行分析)
内存溢出
的解决思路
一般
读取
文件
文本的写法: 使用BufferedReader来逐行
读取
文本内容 File file =new File("test.txt"); try (BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream(file)))) { ...
Java SE
62,614
社区成员
307,326
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章