社区
Java SE
帖子详情
如何加载150条条数据放在内存中，
yjsyjs
2003-12-02 03:10:43
现在一加载
就会出java.lang.OutOfMemoryError
...全文
113
4
打赏
收藏
如何加载150条条数据放在内存中，
现在一加载 就会出java.lang.OutOfMemoryError
复制链接
扫一扫
分享
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
xiaohaiz
2003-12-02
打赏
举报
回复
<<数据要是超过了物理内存，肯定不成。>>
严谨一点，应该是JVM可用的内存，并不是物理内存。
Shrewdcat
2003-12-02
打赏
举报
回复
楼上主义可行，但关键你是什么数据，要实现什么功能。 当然，数据要是超过了物理内存，肯定不成。
yjsyjs
2003-12-02
打赏
举报
回复
放到ArrayList中，不知有什么好方法
Yanbin_Q
2003-12-02
打赏
举报
回复
怎么存储的。
使用sklearn
加载
公共
数据
集、
内存
数据
与CSV文件
本文详细介绍了如何使用sklearn
加载
预定义的公共
数据
集，如mnist和iris，以及如何处理
内存
数据
和csv文件。通过实例展示了
数据
加载
过程，包括numpy数组和pandas DataFrame的转换，并提供了处理缺失值的技巧。
数据
科学家必备：内置
150
+预训练
数据
集一键
加载
功能
ms-swift框架内置
150
+高质量预训练
数据
集，支持一键
加载
、任务自适应格式转换与流式
内存
安全读取。结合LoRA/QLoRA轻量微调技术，显著降低大模型实验门槛，提升
数据
准备效率与科研可复现性。
为什么游戏需要“
加载
时间“？——从硬盘读取到
内存
渲染
本文深入探讨游戏
加载
时间的本质，分析从硬盘读取到
内存
渲染的全过程。涵盖存储介质演变、资源
加载
流程、预
加载
与压缩技术，并纠正关于SSD和云游戏的常见误解，结合
数据
说明
加载
性能对现代游戏体验的影响。
PyTorch/TensorFlow图像
数据
加载
内存
优化实战
本文聚焦于图像
数据
加载
过程
中
的
内存
瓶颈问题，深入剖析一次性全量
加载
导致OOM的根本原因，提出基于生成器的按需流式
加载
方案。详细阐述四层架构设计（路径发现、样本解析、图像解码、批次组装），强调
内存
可控性、dtype最小化、PIL对象及时释放、gc显式回收等关键技术点，并提供batch_size理论估算与实测调优方法，适用于资源受限环境下的PyTorch/TensorFlow训练 pipeline。
数据
管理-当
数据
无法放入
内存
时：基本技术
当处理的
数据
无法放入
内存
时，程序会崩溃。解决此问题，可花钱买更多RAM，但有时不够或不可行。本文介绍处理过多
数据
的三种基本软件技术：压缩，减少
内存
使用；分块，一次
加载
一个
数据
块；索引，用于获取
数据
子集。后续将介绍这些技术在NumPy和Pandas
中
的应用。
Java SE
62,620
社区成员
307,251
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章
发帖
与我相关
我的任务
分享