大量数据写入到xml文件中？ [问题点数：50分，结帖人flalscjf]
-
本版专家分：0结帖率 100% -
回复次数17楼主用java 把数据库里的数据写入到xml， 数据量很大的 主表大概有3000W条数据。
在网上找了一些资料， 有 jdom, sax, dom4j, dom 等技术。
有人说dom4j好用，我就拿dom4j来写了简单的程序。
往xml里写入到20000多一点的数据，java.lang.OutOfMemoryError 错误。
麻烦以前做过这方面工作的高手可以指点指点我这个菜鸟。
求大家帮帮忙了。
不一定要用dom4j的 只要能做出来就可以了。
先谢谢大家了。问题点数：50分
-
本版专家分：222 -
#1 得分：03000W条数据
-
本版专家分：0
-
#2 得分：0是的，3000W+ 的数据。
-
版主本版专家分：50332
-
-
优秀版主
优秀大版主
2015年8月优秀大版主
2015年9月优秀大版主
-
-
黄花
2015年2月 Java大版内专家分月排行榜第二
2014年3月 Java大版内专家分月排行榜第二
-
-
蓝花
2014年9月 Java大版内专家分月排行榜第三
2014年6月 Java大版内专家分月排行榜第三
2014年2月 Java大版内专家分月排行榜第三
2013年11月 Java大版内专家分月排行榜第三
2013年10月 Java大版内专家分月排行榜第三
-
-
#3 得分：03000W。。。
还是用SAX吧，分段编译，不会有java.lang.OutOfMemoryError 错误
-
版主本版专家分：50332
-
-
优秀版主
优秀大版主
2015年8月优秀大版主
2015年9月优秀大版主
-
-
黄花
2015年2月 Java大版内专家分月排行榜第二
2014年3月 Java大版内专家分月排行榜第二
-
-
蓝花
2014年9月 Java大版内专家分月排行榜第三
2014年6月 Java大版内专家分月排行榜第三
2014年2月 Java大版内专家分月排行榜第三
2013年11月 Java大版内专家分月排行榜第三
2013年10月 Java大版内专家分月排行榜第三
-
-
#4 得分：20有人写过一个，源码可供参考下
package ctais.business.jczc.yhs.wfwzxxcx;
import org.xml.sax.Attributes;
import org.xml.sax.SAXException;
import org.xml.sax.helpers.DefaultHandler;
import javax.xml.parsers.SAXParser;
import javax.xml.parsers.SAXParserFactory;
import java.io.Serializable;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
/**
* Title: SAX 方式解析 XML 文件
* Description:解决大文件报OutOfMemory的问题
* Company: ****
* @author: Pagecn
* @date: YYYY-MM-DD
*/
public class SAXApp extends DefaultHandler implements Serializable {
private String LableName = ""; // 节点名称
private String LableValue = ""; // 节点值
private HashMap hm = new HashMap(); // 临时保存数据
private List list = new ArrayList(); // 保存插入的SQL语句
/**
* 根据文件路径建立 SAX解析器
* @param uri
*/
public void parseURI(String uri) {
try {
SAXParserFactory spf = SAXParserFactory.newInstance();
SAXParser sp = spf.newSAXParser();
sp.parse(uri, this);
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 开始遍历
* @throws SAXException
*/
public void startDocument() throws SAXException {
//System.out.println(" <?xml version=\"1.0\" encoding=\"GB2312\"?>");
}
/**
* 取开始节点名称
* @param namespaceURI
* @param localName
* @param rawName
* @param attrs
* @throws SAXException
*/
public void startElement(String namespaceURI, String localName, String rawName, Attributes attrs) throws SAXException {
LableName = rawName;
}
/**
* 取节点值
* @param ch
* @param start
* @param length
* @throws SAXException
*/
public void characters(char ch[], int start, int length) throws SAXException {
// 过滤回车LableValue.indexOf("\n") == -1
if (LableValue.indexOf("\n") != -1) {
LableValue = "";
}
// 处理节点值过长，出现分段读取的情况
if (LableName.equals("COL1") || LableName.equals("COL2") || LableName.equals("COL3")) {
LableValue += new String(ch, start, length);
LableValue.trim();
} else {
LableValue = new String(ch, start, length);
}
}
/**
* 取结束节点名称
* @param namespaceURI
* @param localName
* @param rawName
* @throws SAXException
*/
public void endElement(String namespaceURI, String localName, String rawName) throws SAXException {
try {
// 获得有用节点信息放入HashMap
if (!(rawName.equals("XX") || rawName.equals("ITEM"))) {
hm.put(rawName, LableValue.trim());
LableValue = "";
}
// 组装SQL
if (rawName.equals("ITEM")) {
list.add("INSERT INTO TAB_NAME (COL1,COL2,COL3)"
+ " VALUES("
+ "'" + hm.get("COL1") + "',"
+ "'" + hm.get("COL2") + "',"
+ "'" + hm.get("COL3") + "')");
hm.clear();
}
} catch (Exception e) {
e.getMessage();
}
}
/**
* 遍历结束
* @throws SAXException
*/
public void endDocument() throws SAXException {
Statement stmt = null;
Connection conn = null;
int initsize = 0;
int size = 100;
try {
// 获取数据库连接
Class.forName("oracle.jdbc.driver.OracleDriver");
conn = DriverManager.getConnection("jdbc:oracle:thin:@localhost:1521:SID", "USER", "PASSWORD");
stmt = conn.createStatement();
initsize = stmt.getFetchSize();
stmt.setFetchSize(size);
// 批量插入数据，提高存储效率
for (int i = 0; i < list.size(); i++) {
stmt.addBatch((String) list.get(i));
}
stmt.executeBatch();
// 关闭数据库句柄
stmt.setFetchSize(initsize);
stmt.close();
conn.close();
} catch (Exception e) {
e.printStackTrace();
try {
if (stmt != null) {
if (initsize != 0) {
stmt.setFetchSize(initsize);
}
stmt.close();
}
if (conn != null) {
conn.close();
}
} catch (SQLException ee) {
ee.printStackTrace();
}
}
}
/**
* 测试方法
* 处理过>100M的XML文件，顺利完成，不过这种方式比较适合格式比较整齐、单一的XML文件
*/
public static void main(String args[]) {
/*
<ROOT>
<XX>
<ITEM>
<COL1/>
<COL2/>
<COL3/>
</ITEM>
</XX>
</ROOT>
*/
SAXApp st = new SAXApp();
st.parseURI("C:\\test.xml");
st.parseURI("C:\\ykk2007.xml");
}
}
-
本版专家分：0
-
#5 得分：0这位大哥，上一段代码是把xml里的数据写入到数据库里的代码吧？
你那里还有没有把数据库里的数据导入到xml里的代码段啊？
-
版主本版专家分：50332
-
-
优秀版主
优秀大版主
2015年8月优秀大版主
2015年9月优秀大版主
-
-
黄花
2015年2月 Java大版内专家分月排行榜第二
2014年3月 Java大版内专家分月排行榜第二
-
-
蓝花
2014年9月 Java大版内专家分月排行榜第三
2014年6月 Java大版内专家分月排行榜第三
2014年2月 Java大版内专家分月排行榜第三
2013年11月 Java大版内专家分月排行榜第三
2013年10月 Java大版内专家分月排行榜第三
-
-
#6 得分：0
没有了。。。
如果加分，我可以帮你找找。。。
：）开玩笑的，真的没有了
-
本版专家分：14049 -
#9 得分：0jdom包
用sax方式来写
-
本版专家分：105 -
#10 得分：0以上方法可行或傻瓜式方法， 一字符串的形式去拼规定格式
-
本版专家分：10
-
#11 得分：0只要是按照流的方式读取XML就不会出现内存溢出的问题,java中好像SAX是这样实现的吧,这对大数量处理是比较好的!
-
本版专家分：203
-
#12 得分：0额，我也从数据库中到处过大量数据到xml，我是以一百条数据为单位往下xml中写，采用dom4j,大约4100万，为出现溢出，可以试试。也可以用普通写文件的方法写成xml格式，多大数据都可搞定。
-
本版专家分：462
-
#13 得分：0可以这样啊：读数据按分页的方式读取，先把一部分数据，生成文件xml，以后分批处理，没处理完一部分释放下内存
-
本版专家分：121
-
#14 得分：0无数次的验证
-
本版专家分：2434 -
#15 得分：10记录 datas [3000万]
File xmlFile;
OutputStream xmlOut = new FileOutputStream(xmlFile);
xmlOut.write(root开始tag);
for(data:datas){
Document doc = dom4j jdom把一条记录data转化为dom结构
byte docBytes[] = 将doc结构转化为byte[]
xmlOut.write(docBytes);
xmlOut.write(换行);
}
xmlOut.write(root开始tag);
-
本版专家分：2434
-
#16 得分：10
自己也可以自己封装dom结构，并转化为byte。
-
本版专家分：2719
-
#17 得分：10要先搞清楚你为什么会出现outmemory 是因为你对字符串操作的太多了，你最好是利用多线程+批处理的形式，即每个线程处理100-1000条数据，然后起那么两三个线程，去并发处理，处理完毕后，将处理的总数目返回，作为下次处理的起始位置，然后依次去做，这样的话，应该不会出现内存溢出了。
- 其他相关推荐
- DataSet里的数据写入XML文件
- //连接字符串string strConn = @"Data Source=192.168.1.9;password=sa;user id= sa;Initial Catalog =cityfamily"; //用于取数据的sql语句 //注意：在sql语句里给字段重新命名了，当然也可以不对其重新命名
- 把文件写入xml和更新xml的数据
- /// /// 生成安全模式xml并放进文件夹中 /// /// /// public string WriteXml(string regionIds) { string isResult ="{\"locked\":false,\"safe\":\"0\"}";
- java 如何将数据写入XML中
- java中用jdom 如何创建xml文档/将数据写入XML中转载自 https://blog.csdn.net/zjliwhf/article/details/53536812----------------------------------------------------------------------------------------------------------------...
- C#开发学习笔记:xml文件的写入操作
- C#开发学习笔记:xml文件的写入操作
- java多线程查询大量数据写入文件
- @RequestMapping(value = "/query",method = RequestMethod.GET) @ResponseBody public String ticketBet() { ReadWriteFile.delFile1(); TransmissionThread tt = new TransmissionThr
- 如何向xml文件中写入数据和读取数据
- 如何向xml文件中写入数据和读取数据，对于C#操作XML非常有用
- 如何高效地向Redis插入大量的数据
- 博客园首页新随笔联系管理订阅 随笔- 228 文章- 0 评论- 114 http://www.cnblogs.com/ivictor/p/5446503.html 如何高效地向Redis插入大量的数据 最近有个哥们在群里问，有一个日志，里面存的是IP地址（一行一个），如何将这些IP快速导入到Redis中。 我刚开始的建议是Shell+
- 解析增量xml数据到数据库
- 读取xml数据到数据库 昨天接到领导安排的任务：将系统产生的增量xml数据插入到数据库中。 增量xml数据格式如下： 20100816215830297313 765955335 270000032004080500176 上海煌虹建筑装饰设计工程有限公司 00010100 黄从高 上海市松江区泖港镇中南路7号B区186号 松江 201
- matlab 大量数据写入excel
- excel 2003 最大65536*256 excel 2007 和 2010 最大 1048576*16384 xlswrite('Output.xlsx',Data(1:1000000,1),1,'A1:A1000000'); 将Data的第一行1:1000000列写入Excel名为Output的sheet1的A1:A1000000
- sqlserver数据批量写入(转)
- 如何在SQLServer中处理亿万级别的数据(历史数据)，可以按以下方面进行： 去掉表的所有索引用SqlBulkCopy进行插入分表或者分区，减少每个表的数据总量在某个表完全写完之后再建立索引正确的指定索引字段把需要用到的字段放到包含索引中(在返回的索引中就包含了一切) 地址如下：http://blog.jobbole.com/80395/