大型（超过200M) 200万行XML解析-CSDN论坛

⋅大型（超过200M) 200万行XML解析 ⋅图像处理群（最后呼叫） ⋅图像处理群 更多帖子 关注私信空间博客 jeff994 本版专家分：0 结帖率 100%: 在解析大型XML文件的时候，用SAX PARSER 解析，越到后面越慢。花了超过一个小时解析完所有文件
（文件里面是几何图形，解析完了放在内存里，内存足够，CPU足够）
请问有什么解决方案么？或者谁有经验解决类似的问题么？

1 2011-07-07 20:07:00

回复数 21 只看楼主引用举报楼主

⋅孟子E章的留言板 ⋅2015年3月21日AppCan移动创业技术免费分享会（北京站） ⋅CSDN带你回家过年，火车票转让信息专用贴 更多帖子 关注私信空间博客 孟子E章 本版专家分：506127 版主 名人 2019年荣获名人称号 年度总版至少三次排名前十即授予名人勋章 榜眼 2012年总版技术专家分年内排行榜第一 2007年总版技术专家分年内排行榜第二 2006年总版技术专家分年内排行榜第二 2004年总版技术专家分年内排行榜第二 探花 2005年总版技术专家分年内排行榜第三 2003年总版技术专家分年内排行榜第三 2002年总版技术专家分年内排行榜第三 进士 2011年总版技术专家分年内排行榜第六 2010年总版技术专家分年内排行榜第八: 太大的没有什么特别好的做法，应该考虑使用数据库来执行这样的操作

0 2011-07-07 21:07:05

只看TA 引用举报 #1 得分 10

⋅如何强制把库连接到程序里面 ⋅FPGA counter and FIFO ⋅请大家介绍一下公司被收购对员工的处置方式 更多帖子 关注私信空间博客 masterz 本版专家分：1102 榜眼 2002年总版技术专家分年内排行榜第二 进士 2001年总版技术专家分年内排行榜第七 金牌 2002年1月总版技术专家分月排行榜第一 银牌 2002年4月总版技术专家分月排行榜第二: 曾经把element的名字放在map里面，有些element在xml里面只出现了一次，解析到以后就把它从map里面删掉。

0 2011-07-07 21:08:25

只看TA 引用举报 #2 得分 10

⋅如何强制把库连接到程序里面 ⋅FPGA counter and FIFO ⋅请大家介绍一下公司被收购对员工的处置方式 更多帖子 关注私信空间博客 masterz 本版专家分：1102 榜眼 2002年总版技术专家分年内排行榜第二 进士 2001年总版技术专家分年内排行榜第七 金牌 2002年1月总版技术专家分月排行榜第一 银牌 2002年4月总版技术专家分月排行榜第二: 如果是解析的效率问题，可以考虑State pattern.

0 2011-07-07 21:11:18

只看TA 引用举报 #3 得分 10

⋅CSDN个人空间的“关系”为什么还没用AJAX？ ⋅请问“挨踢职涯”的“求职面试”版主是什么意思？ ⋅寻青岛软件/互联网开发公司技术管理职位 更多帖子 关注私信空间博客 碧海情天-赵亮 本版专家分：81567 红花 2011年2月 Web 开发大版内专家分月排行榜第一 2010年11月 Web 开发大版内专家分月排行榜第一 黄花 2011年3月 Web 开发大版内专家分月排行榜第二 2011年1月 Web 开发大版内专家分月排行榜第二 2010年10月 Web 开发大版内专家分月排行榜第二 2010年9月 Web 开发大版内专家分月排行榜第二 2010年6月 Web 开发大版内专家分月排行榜第二 蓝花 2012年10月 Web 开发大版内专家分月排行榜第三 2010年7月 Web 开发大版内专家分月排行榜第三: 你用XML做这样的事，就得面对这样的后果。XML根本不适合作为大型数据存储载体。

0 2011-07-07 21:23:53

只看TA 引用举报 #4 得分 10

⋅CSDN个人空间的“关系”为什么还没用AJAX？ ⋅请问“挨踢职涯”的“求职面试”版主是什么意思？ ⋅寻青岛软件/互联网开发公司技术管理职位 更多帖子 关注私信空间博客 碧海情天-赵亮 本版专家分：81567 红花 2011年2月 Web 开发大版内专家分月排行榜第一 2010年11月 Web 开发大版内专家分月排行榜第一 黄花 2011年3月 Web 开发大版内专家分月排行榜第二 2011年1月 Web 开发大版内专家分月排行榜第二 2010年10月 Web 开发大版内专家分月排行榜第二 2010年9月 Web 开发大版内专家分月排行榜第二 2010年6月 Web 开发大版内专家分月排行榜第二 蓝花 2012年10月 Web 开发大版内专家分月排行榜第三 2010年7月 Web 开发大版内专家分月排行榜第三: XML的根本特点是“开放性”。如果你只是自己的项目使用，就算使用自定义格式的TEXT文本文件，都比用XML强得多。

1 2011-07-07 21:26:00

只看TA 引用举报 #5 得分 10

⋅netty websocket服务器无故断开连接问题 ⋅c++字符串保存成文件的问题 ⋅WPF ListView控件列宽设计问题 更多帖子 关注私信空间博客 挨踢直男 本版专家分：42450 红花 2011年7月 Web 开发大版内专家分月排行榜第一 黄花 2011年6月 Web 开发大版内专家分月排行榜第二: 把用 xml描述的数据转换成关系数据吧
关系数据库的优化方案比xml多的多

0 2011-07-07 21:44:16

只看TA 引用举报 #6 得分 10

huntor 本版专家分：927 黄花 2011年12月 Java大版内专家分月排行榜第二 2011年11月 Java大版内专家分月排行榜第二 2010年9月 Java大版内专家分月排行榜第二 蓝花 2011年10月 Java大版内专家分月排行榜第三: VTD-XML

Java: StAX or XPP3

0 2011-07-07 21:49:28

只看TA 引用举报 #7 得分 10

⋅遇到bug了 ⋅如果還有明天 ⋅刚看到一段 scala程序：Merry Xmas 更多帖子 关注私信空间博客 huntor 本版专家分：927 黄花 2011年12月 Java大版内专家分月排行榜第二 2011年11月 Java大版内专家分月排行榜第二 2010年9月 Java大版内专家分月排行榜第二 蓝花 2011年10月 Java大版内专家分月排行榜第三: http://stackoverflow.com/questions/tagged/large-files+xml

0 2011-07-07 21:50:29

只看TA 引用举报 #8 得分 10

⋅遇到bug了 ⋅如果還有明天 ⋅刚看到一段 scala程序：Merry Xmas 更多帖子 关注私信空间博客 huntor 本版专家分：927 黄花 2011年12月 Java大版内专家分月排行榜第二 2011年11月 Java大版内专家分月排行榜第二 2010年9月 Java大版内专家分月排行榜第二 蓝花 2011年10月 Java大版内专家分月排行榜第三: .net Use XmlTextReader to parse large XML documents.
http://msdn.microsoft.com/en-us/library/ff647804.aspx#scalenetchaptch09 _topic8

0 2011-07-07 21:53:41

只看TA 引用举报 #9 得分 10

⋅终于完成了小目标还是买不起房只能散分

⋅最近论坛页面体验很不好

⋅合上电脑发现四周空无一人突然有感而发

更多帖子

关注私信空间博客

kk3k2005

本版专家分：51354

签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！

黄花 2013年11月 Web 开发大版内专家分月排行榜第二

蓝花 2013年10月 Web 开发大版内专家分月排行榜第三: 吧解析完的内容作为一个内存映像保存或者缓存

如果是随机读写用的话这么大还是别用XML了

0 2011-07-07 23:52:51

只看TA 引用举报 #10 得分 10

jeff994 本版专家分：0: 不是随机读写，是要全部的读。

0 2011-07-08 00:23:04

只看TA 引用举报 #11 得分 0

jeff994 本版专家分：0: 而且，也没好的关系数据库

0 2011-07-08 00:24:37

只看TA 引用举报 #12 得分 0

masterz 本版专家分：1102 榜眼 2002年总版技术专家分年内排行榜第二 进士 2001年总版技术专家分年内排行榜第七 金牌 2002年1月总版技术专家分月排行榜第一 银牌 2002年4月总版技术专家分月排行榜第二: 可以用文件型数据库，比如http://www.sqlite.org/

0 2011-07-08 09:26:36

只看TA 引用举报 #13 得分 0

⋅首页怎么会有这样的代码？ ⋅Linux多个版本Python怎么解决？[已解决，散分，没人接分结不了贴] ⋅Linux多个版本Python怎么解决？ 更多帖子 关注私信空间博客 ImN1 本版专家分：13608 红花 2013年10月其他开发语言大版内专家分月排行榜第一 黄花 2013年9月其他开发语言大版内专家分月排行榜第二 2013年8月其他开发语言大版内专家分月排行榜第二 2013年7月其他开发语言大版内专家分月排行榜第二 2011年4月 PHP大版内专家分月排行榜第二 蓝花 2013年10月 PHP大版内专家分月排行榜第三 2013年5月 PHP大版内专家分月排行榜第三 2013年4月其他开发语言大版内专家分月排行榜第三 2013年4月 PHP大版内专家分月排行榜第三 2013年3月其他开发语言大版内专家分月排行榜第三 2011年5月 PHP大版内专家分月排行榜第三: VTD-XML

http://vtd-xml.sourceforge.net/

0 2011-07-08 10:51:00

只看TA 引用举报 #14 得分 0

a276786511 本版专家分：82: XML不适合这么大的数据量啊

0 2011-07-12 14:59:52

只看TA 引用举报 #15 得分 0

苏丹-陈 本版专家分：115: 优化你的处理过程，别无它法。

0 2011-08-01 10:34:59

只看TA 引用举报 #16 得分 0

captaingan 本版专家分：0: 解析一部分，放入数据库中，然后删除前面的内容，这样应该不会出现上面的问题。

0 2011-08-02 13:43:09

只看TA 引用举报 #17 得分 0

寒沙胜雪 本版专家分：151: LINK TO XML
XML-DOM
XML-DATASET

0 2011-08-02 18:47:11

只看TA 引用举报 #18 得分 0

hztj2005 本版专家分：0: 我来学习

0 2011-08-22 16:28:24

只看TA 引用举报 #19 得分 0

⋅大型（超过200M) 200万行XML解析 ⋅图像处理群（最后呼叫） ⋅图像处理群 更多帖子 关注私信空间博客 jeff994 本版专家分：0: 问题已经解决，事情发现不是XML 的问题，，这么大的文件也就需要1-2分钟，是程序的其它部分出了问题

0 2011-09-29 14:58:13

只看TA 引用举报 #20 得分 0

⋅请教下PB解析几百M的XML怎么才能快速解析 ⋅求高手指教，pb里怎么判断操作系统是多少位的啊？ 更多帖子 关注私信空间博客 xfq520157 本版专家分：0: 楼主可以分享下如何解决的么，我也遇到要解析200-300M的XML但是我是学PB的，能力不足，能解析的起码得几十个小时

0 2013-06-28 11:11:46

只看TA 引用举报 #21 得分 0

大型（超过200M) 200万行XML解析 [问题点数：100分，结帖人jeff994]