社区
Java EE
帖子详情
我想讲数据库的某个表的记录备份到XML文件中,如果记录很多时,会不会造成outOfMemory?
airlulu
2003-08-31 08:30:29
我是用JDOM的,先从数据库把记录都读出来,然后用JDOM根据记录生成Element,最后一次过写到文件中.
问题是,如果记录条数很多时,岂不是要用JDOM生成大量的对象?比如1W条记录,就需要实例化6W个对象(每条记录有5个属性),这样会不会造成out of memory?
如果会的话,怎么解决?
(最好能有示范代码)
谢谢!!!
...全文
71
8
打赏
收藏
我想讲数据库的某个表的记录备份到XML文件中,如果记录很多时,会不会造成outOfMemory?
我是用JDOM的,先从数据库把记录都读出来,然后用JDOM根据记录生成Element,最后一次过写到文件中. 问题是,如果记录条数很多时,岂不是要用JDOM生成大量的对象?比如1W条记录,就需要实例化6W个对象(每条记录有5个属性),这样会不会造成out of memory? 如果会的话,怎么解决? (最好能有示范代码) 谢谢!!!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
8 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
airlulu
2003-09-03
打赏
举报
回复
测试过,当数据为100000时,仍然可以工作~~
neuhawk
2003-09-03
打赏
举报
回复
jdom慢,也耗内存,不是很好,换!
airlulu
2003-09-03
打赏
举报
回复
应该是用 jdk的io类吧,JDOM没有提供直接操作文件的方法。
无聊的职业生涯
2003-09-02
打赏
举报
回复
shine333(shine):你好,我也碰到楼主遇到的问题,请问如何将几个文件合并到一起,是用JAVA的文件处理类,还是用JDOM的文件处理类,这一点我一直没有明白。请您详细说明一下不知可可以!
静静等待你的回音,谢谢!
shine333
2003-09-01
打赏
举报
回复
分n次,将纪录写道n个文件中,然后合并文件,把重复的头尾去掉
airlulu
2003-09-01
打赏
举报
回复
那有什么解决方法?
airlulu
2003-09-01
打赏
举报
回复
嗯...
虽然麻烦,但也是个方法.
有没有更加简便的方法?
asdmonster
2003-08-31
打赏
举报
回复
jdom会把整个对象全读进内存的,找你的做法即使不会造成out fo memory也会慢的一塌糊涂。
数据库
分库分
表
详解和案例实战
MyCAT全局
表
与ER
表
全局与ER
表
8.1 全局
表
8.1.1 特性8.1.2 建
表
8.1.3 配置8.1.4 验证8.1.5 分析总结(执行计划) 8.2 ER
表
8.2.1 特性8.2.2 建
表
8.2.3 配置8.2.4 测试验证,子
表
是否跟随父
表
记录
分片8.2.5 分析总结...
MySQL
数据库
教程天花板,mysql安装到mysql高级,强|硬
MySQL
数据库
笔记 第一部分 MySQL基础篇 第01章
数据库
概述 1. 为什么要使用
数据库
持久化(persistence):把数据保存到可掉电式存储设备
中
以供之后使用。大多数情况下,特别是企业级应用,数据持久化意味着将内存
中
的数据保存到硬盘上加以“固化”,而持久化的实现过程大多通过各种关系
数据库
来完成。 持久化的主要作用是将内存
中
的数据存储在关系型
数据库
中
,当然也可以存储在磁盘文件、XML数据文件
中
。 2.
数据库
与
数据库
管理系统 2.1
数据库
的相关概念 DB:
数据库
(Database)
ClickHouse的介绍(基本sql操作,以及
数据库
引擎、
表
引擎、分片、副本、explain、优化、物化视图等)
ClickHouse是俄罗斯的Yandex于2016年开源的列式存储
数据库
(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实
时
生成分析数据报告。列式存储以下面的
表
为例:1)采用行式存储
时
,数据在磁盘上的组织结构为:好处是
想
查某个人所有的属性
时
,可以通过一次磁盘查找加顺序读取就可以。但是当
想
查所有人的年龄
时
,需要不停的查找,或者全
表
扫描才行,遍历的
很多
数据都是不需要的。2)采用列式存储
时
,数据在磁盘上的组织结构为:这
时
想
查所有人的年龄只需把年龄那一列拿出来就可以了。3
HBase 超大
表
迁移、
备份
、还原、同步演练手册:全量快照 + 实
时
同步(Snapshot + Replication)不停机迁移方案
本文首发于Apache HBase公众号。介绍的演练操作源于某真实案例,用户有一个接近 100 TB 的 HBase
数据库
,其
中
有一张超大
表
,数据量约为数十TB,在一次迁移任务
中
,用户需要将该 HBase
数据库
迁移到 Amazon EMR 上。 本文将讨论并演示:使用全量快照 + 实
时
同步(Snapshot + Replication)的方式将一个数十TB HBase 单
表
不停机迁移数据到一个 HBase on S3 集群上。
Java EE
67,513
社区成员
225,880
社区内容
发帖
与我相关
我的任务
Java EE
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
复制链接
扫一扫
分享
社区描述
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章