我现在需要用远端elasticsearch集群，按照一定搜索条件，下载内容到文本中，但当需要下载的内容很多时，会出现内存占用很高的问题，尝试过的方式有以下几种，均会出现内存占用过高的问题。
1、 commons-io FileUtils.writeString
2、new RandomAccessFile(fileName, "rw").getChannel()
不知道有没有别的能控制内存占用的方式？
-
版主
-
请教一个问题：
我现在需要用远端elasticsearch集群，按照一定搜索条件，下载内容到文本中，但当需要下载的内容很多时，会出现内存占用很高的问题，尝试过的方式有以下几种，均会出现内存占用过高的问题。
1、 commons-io FileUtils.writeString
2、new RandomAccessFile(fileName, "rw").getChannel()
不知道有没有别的能控制内存占用的方式？展开阅读全文
-
版主等级
本版专家分：8949勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
红花
2019年6月 Java大版内专家分月排行榜第一
2019年5月 Java大版内专家分月排行榜第一
2019年4月 Java大版内专家分月排行榜第一
2019年1月 Java大版内专家分月排行榜第一
-
-
黄花
2019年2月 Java大版内专家分月排行榜第二
2018年12月 Java大版内专家分月排行榜第二
-
-
分页下载 会不会好点？
-
版主
等级
本版专家分：30勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 脉脉勋章 绑定脉脉第三方账户获得
-
- GitHub 绑定GitHub第三方账户获取
-
-
现在就是每次1000条往里面往文件写，写完也关闭了，但内存一直占用很高，GC也回收不了。
-
版主
等级
本版专家分：30勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 脉脉勋章 绑定脉脉第三方账户获得
-
- GitHub 绑定GitHub第三方账户获取
-
-
文件删除后，内存就会下降，感觉是被操作系统回收了。
-
版主
等级
本版专家分：30勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 脉脉勋章 绑定脉脉第三方账户获得
-
- GitHub 绑定GitHub第三方账户获取
-
-
占用的内存也不是jvm中的堆、直接内存都不是。
-
版主等级
本版专家分：8949勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
红花
2019年6月 Java大版内专家分月排行榜第一
2019年5月 Java大版内专家分月排行榜第一
2019年4月 Java大版内专家分月排行榜第一
2019年1月 Java大版内专家分月排行榜第一
-
-
黄花
2019年2月 Java大版内专家分月排行榜第二
2018年12月 Java大版内专家分月排行榜第二
-
-
还没接触这方面内容，你参考下这个 https://langgufu.iteye.com/blog/2107023
-
版主
等级
本版专家分：30勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 脉脉勋章 绑定脉脉第三方账户获得
-
- GitHub 绑定GitHub第三方账户获取
-
-
这个应该不行，跟我列的第二种方式是一样的
-
版主
等级
本版专家分：30勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 脉脉勋章 绑定脉脉第三方账户获得
-
- GitHub 绑定GitHub第三方账户获取
-
-
应该是page cache 不是代码的问题
- Java面试题大全（2020版）
发现网上很多Java面试题都没有答案，所以花了很长时间搜集整理出来了这套Java面试题大全，希望对大家有帮助哈~ 本套Java面试题大全，全的不能再全，哈哈~ 一、Java 基础 1. JDK 和 JRE 有什么区别？ JDK：Java ...
- 2020最新Java面试题，常见面试题及答案汇总
发现网上很多Java面试题都没有答案，所以花了很长时间搜集整理出来了这套Java面试题大全，希望对大家有帮助哈~ 一、Java 基础 1. JDK 和 JRE 有什么区别？ JDK：Java Development Kit 的简称，java 开发工具包，...
- 史上最全面Java面试汇总（面试题+答案）
JAVA面试精选【Java基础第一部分】 JAVA面试精选【Java基础第二部分】 JAVA面试精选【Java基础第三部分】 JAVA面试精选【Java算法与编程一】 JAVA面试精选【Java算法与编程二】 Java高级工程师—面试(1) ...
- Java String字符串类型导致内存溢出的分析和解决方案 （使用string += 为什么会导致内存占用过高？...
1. String类型变量操作时为何容易内存溢出 在实际工程或者算法题练习中，我们有时候会遇到String类型变量导致内存溢出或者占用过高。 原因是String类型在java中是immutable（不可直接修改）的变量，所以对于字符串...
- java String 最长长度和占用内存大小
String在内存中的最大长度理论上是int型变量的最大值，Integer.MAX_VALUE, String的字面常量的最大长度为CONSTANT_Utf8_info表决定，一般为65535. 二 介绍 1、String的内部实现 通过一个字符数组来维护字符序列，...
- 2020年 Java面试题整理 最新Java面试题2020
文章目录1、类加载和实例化2、Java是值传递还是引用传递3、类加载的主要过程4、什么是GC5、简述垃圾回收过程6、内存泄漏7、导致内存泄漏的场景8、Java中堆和栈的区别9、ArrayList、LinkedList、Vector的区别10、...
- Java读取文本数据存到数据库，在方法执行完成后为啥所占用的内存资源没释放？
以下是程序启动时内存占用情况：  以下是程序执行SQL方法时内存的占用情况： ![运行中]...
- Java/Android 大文件获取SHA1防止内存溢出
在Java或者Android开发中难免要遇到校验文件正确性的问题。比如下载一个apk包或者下载一个游戏包，担心文件会被篡改。这个时候就可以对比源文件的SHA1和下载到本地的文件的SHA1。 在这个过程中往往会遇到文件比较大...
- 【C++ 语言】C++字符串 ( string 类 | 创建方法 | 控制台输出 | 字符串操作 | 栈内存字符串对象 | string* ...
C++ 字符串 对象 C++ 字符串 对象 创建方法 C++ 字符串 对象 输出到控制台 C++ 字符串 拼接 ...C++ 字符串 方法调用 ( 栈内存对象 ) C++ 字符串 方法调用 ( 堆内存对象 ) C / C++ 字符串 完整代码示例
- 未关闭的文件流会引起内存泄露么？
当被继续追问，为什么会导致内存泄露时，大部分人都没有回答出来。 本文将具体讲一讲 文件(流)未关闭与内存泄露的关系。 什么是内存泄露 定义：当生命周期长的实例L 不合理地持有一个生命周期短的实例S，导致S实例...
- Java IO速度和占用内存的极致优化方法,模板方法【从hdu 2602 说起】
不可否认，java运行速度和内存占用方便确实无法比肩C/C++。随手举一个很直观的栗子，在ACM等其他算法竞赛中，普通给java的代码运行的时间往往都是C和C++ 2~~3倍，由此可见一斑。不过我们今天要说的就是，算法效率...
- Java中对象占用内存计算方法
Oop指针，如果是32G内存以下的，默认开启对象指针压缩，4个字节3. 数据区4.Padding(内存对齐)，按照8的倍数对齐数组对象结构是1. 对象头(_mark)， 8个字节2. Oop指针，如果是32G内存以下的，默认开启对象指针压缩，...
- Java面试题全集（上）
2013年年底的时候，我看到了网上流传的一个叫做《Java面试题大全》的东西，认真的阅读了以后发现里面的很多题目是重复且没有价值的题目，还有不少的参考答案也是错误的，于是我花了半个月时间对这个所谓的《Java面试...
- MySQL 面试题
MySQL 面试题 MySQL 涉及的内容非常非常非常多，所以面试题也容易写的杂乱。当年，我们记着几个一定要掌握的重心： 重点的题目添加了【重点】前缀。 索引。 ...因为 MySQL 还会有部分内容和运维相关度比较高，所以...
- Java输入输出流
Java输入输出流
- Hbase
文章目录Hbase来源：应用：行业：Hbase定义：Hbase特性：Hbase shellnamespaceDDLDMLHbase Java Api依赖HbaseUtilsHbaseDemoHbase过滤器Hbase原理架构Hbase读写流程写数据流程Hbase的存储机制存储模型布隆过滤器...
- 前端面试题
每个HTML文件里开头都有个很重要的东西，Doctype，知道这是干什么的吗？ 21 Quirks模式是什么？它和Standards模式有什么区别 21 div+css的布局较table布局有什么优点？ 22 img的alt与title有何异同？ strong与em的...
- C#基础教程-c#实例教程，适合初学者
C#基础教程-c#实例教程，适合初学者。 第一章 C#语言基础 本章介绍C#语言的基础知识，希望具有C语言的读者能够基本掌握C#语言，并以此为基础，能够进一步学习用C#语言编写window应用程序和Web应用程序。...
- 当用java程序去频繁读取大文件的时候将读取到的内容放在内存中
1.师兄之前常说为了提高系统效率要讲频繁读取的东西放在内存中，但是一直不明白这是什么意思，今天自己动手实现了将文件内容放在内存中，我这个文件为680M，一次性读取文件的话我的jvm内存太小，这个时候就要去修改...
- 彻底解决Java处理图片时，BufferedImage内存溢出的解决方案
但是经过大量测试调查，在压缩图片时使用了Java的java.awt.image.BufferedImage总会占用内存不释放，造成内存叠加，最终内存溢出。 在各种百度，谷歌下解决无果，还得亲自想办法。 中间看到有人使用imagemagick...
- redis探秘：选择合适的数据结构，减少80%的内存占用，这些点你get到了吗？
redis作为目前最流行的nosql缓存数据库，凭借其优异的...由于redis是一个纯内存的数据库，在存放大量数据时，内存的占用将会非常可观。那么在一些场景下，通过选用合适的数据结构来存储，可以大幅减少内存的占用，...
- Java读写大文本文件（2GB以上）
Java读写大文本文件（2GB以上） 如下的程序，将一个行数为fileLines的文本文件平均分为splitNum个小文本文件，其中换行符'r'是linux上的，windows的java换行符是'\r\n'： package kddcup2012.task2....
- Kafka
一、Kafka介绍： Kafka是一种分布式的、基于发布订阅的消息系统，能够高效并实时的吞吐数据，以及通过分布式集群和复本冗余机制实现数据的安全。 二、Kafka的安装配置： ... 2.上传到1号虚拟机，解压 ...
- 读取超过内存大小的文件的解决办法
现在考虑有一个jsonline 格式的文件file.txt 大小约为10K，之前处理文件的代码如下所示 def get_lines(): l = [] with open('file.txt', 'rb') as f: for eachline in f: l.append(eachline) return l if __n...
- 2021JAVA面试题附答案(持续更新版)
JAVA中的几种基本类型，各占用多少字节？ 下图单位是bit,非字节 1B=8bit String能被继承吗？为什么？ 不可以，因为String类有final修饰符，而final修饰的类是不能被继承的，实现细节不允许改变。平常我们定义的...
- Python入门
Python入门目录1.Python基本数据类型 2.Python的print语句 3.Python的注释 4.Python的变量 5.Python中raw字符串与多行字符串 6.Python当中的Unicode字符串 7.Python中的整数和浮点数 8.Python中的布尔类型 ...
- Java代码实现获取安卓手机指定App的流量、CPU和内存占用信息
原理：安卓手机的系统性能信息都写在系统的文件中，通过安卓SDK源生命令来获取这些信息。import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.InputStreamReader;...
- Java常见问题分析(内存溢出、内存泄露、线程阻塞等)
Java垃圾回收机制（GC） 1.1 GC机制作用 1.2 堆内存3代分布（年轻代、老年代、持久代） 1.3 GC分类 1.4 GC过程 Java应用内存问题分析 2.1 Java内存划分 2.2 Java常见内存问题 2.3 ML（内存泄
- 浅谈一下JAVA对象，对象引用以及对象赋值
浅谈一下JAVA对象，对象引用以及对象赋值 今天有班级同学问起JAVA对象的引用是什么。正好趁着这次机会，自己总结一下JAVA对象，对象引用以及对象赋值。自己总结了所看到的网上相关方面的不少帖子，整理汇总形成...
- java实现：《操作系统实验三》模拟内存管理
1.模拟计算机内存，按照固定地址读写 2.模拟连续分配下的循环首次适应 3.模拟连续分配下的最佳适应