我想讲数据库的某个表的记录备份到XML文件中,如果记录很多时,会不会造成outOfMemory?

airlulu 2003-08-31 08:30:29

我是用JDOM的,先从数据库把记录都读出来,然后用JDOM根据记录生成Element,最后一次过写到文件中.
问题是,如果记录条数很多时,岂不是要用JDOM生成大量的对象?比如1W条记录,就需要实例化6W个对象(每条记录有5个属性),这样会不会造成out of memory?
如果会的话,怎么解决?
(最好能有示范代码)
谢谢!!!

...全文

73 8 打赏收藏转发到动态举报

写回复

8 条回复

切换为时间正序

请发表友善的回复…

发表回复

airlulu 2003-09-03

打赏
举报

回复

测试过，当数据为100000时，仍然可以工作～～

neuhawk 2003-09-03

打赏
举报

回复

jdom慢，也耗内存，不是很好，换！

airlulu 2003-09-03

打赏
举报

回复

应该是用 jdk的io类吧，JDOM没有提供直接操作文件的方法。

无聊的职业生涯 2003-09-02

打赏
举报

回复

shine333(shine)：你好，我也碰到楼主遇到的问题，请问如何将几个文件合并到一起，是用JAVA的文件处理类，还是用JDOM的文件处理类，这一点我一直没有明白。请您详细说明一下不知可可以！

静静等待你的回音，谢谢！

shine333 2003-09-01

打赏
举报

回复

分n次，将纪录写道n个文件中，然后合并文件，把重复的头尾去掉

airlulu 2003-09-01

打赏
举报

回复

那有什么解决方法？

airlulu 2003-09-01

打赏
举报

回复

嗯...
虽然麻烦,但也是个方法.
有没有更加简便的方法?

asdmonster 2003-08-31

打赏
举报

回复

jdom会把整个对象全读进内存的，找你的做法即使不会造成out fo memory也会慢的一塌糊涂。

本课程深入MySQL 分库分表各个环节，2023年最新课程。每个章节都会以原理深入+实际案例进行讲解。内容数据库安装，主从同步，和分表分表详解和对应的应用场景及注意事项MySQL在金融互联网行业的企业级安装部署1 安装方式2 安装用户3 目录规范4 操作系统配置5 创建用户6 创建目录7 安装8 配置文件9 安装依赖包10 配置环境变量11 初始化数据库12 重置密码主从复制,gtid,并行复制_半同步复制_实操案例_常用命令_故障处理1 主从复制原理深入讲解2 主从复制相关参数3 主从复制架构部署4 从库状态详解5 过滤复制6 什么是GTID？7 GTID主从配置8 gtid维护9 GTID的特点10 工作原理11 gtid相关状态行和变量 MySQL分库分表目录章节1.MyCAT分布式架构入门及双主架构1.1 主从架构1.2 MyCAT安装1.3 启动和连接1.4 配置文件介绍2.MyCAT读写分离架构2.1 架构说明2.2 创建用户2.3 schema.xml2.4 连接说明2.5 读写测试2.6 当前是单节点3.MyCAT高可用读写分离架构3.1 架构说明3.3 schema.xml(配置)3.4 文件详解3.4.1 schema标签3.4.2 table标签3.4.3 dataNode标签3.4.4 dataHost3.4 读写测试3.5 故障转移4.MyCAT垂直分表4.1 架构4.2 新建表4.3 配置mycat4.4 验证6. MyCAT水平分表-取模分片取模分片7. MyCAT水平分表-枚举分片枚举分片字符枚举配置执行计划的分析8. MyCAT全局表与ER表全局与ER表8.1 全局表8.1.1 特性8.1.2 建表8.1.3 配置8.1.4 验证8.1.5 分析总结(执行计划)8.2 ER表8.2.1 特性8.2.2 建表8.2.3 配置8.2.4 测试验证，子表是否跟随父表记录分片8.2.5 分析总结（执行计划）

MySQL数据库笔记第一部分 MySQL基础篇第01章 数据库概述 1. 为什么要使用数据库 持久化(persistence)：把数据保存到可掉电式存储设备中以供之后使用。大多数情况下，特别是企业级应用，数据持久化意味着将内存中的数据保存到硬盘上加以“固化”，而持久化的实现过程大多通过各种关系数据库来完成。持久化的主要作用是将内存中的数据存储在关系型数据库中，当然也可以存储在磁盘文件、XML数据文件中。 2. 数据库与数据库管理系统 2.1 数据库的相关概念 DB：数据库(Database)

ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。列式存储以下面的表为例：1）采用行式存储时，数据在磁盘上的组织结构为：好处是想查某个人所有的属性时，可以通过一次磁盘查找加顺序读取就可以。但是当想查所有人的年龄时，需要不停的查找，或者全表扫描才行，遍历的很多数据都是不需要的。2）采用列式存储时，数据在磁盘上的组织结构为：这时想查所有人的年龄只需把年龄那一列拿出来就可以了。3

本文首发于Apache HBase公众号。介绍的演练操作源于某真实案例，用户有一个接近 100 TB 的 HBase 数据库，其中有一张超大表，数据量约为数十TB，在一次迁移任务中，用户需要将该 HBase 数据库迁移到 Amazon EMR 上。本文将讨论并演示：使用全量快照 + 实时同步（Snapshot + Replication）的方式将一个数十TB HBase 单表不停机迁移数据到一个 HBase on S3 集群上。

67,513

社区成员

225,879

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章