大型（超过200M) 200万行XML解析

jeff994 2011-07-07 08:07:00
在解析大型XML文件的时候，用SAX PARSER 解析，越到后面越慢。 花了超过一个小时解析完所有文件
（文件里面是几何图形，解析完了放在内存里，内存足够，CPU足够）
请问有什么解决方案么？ 或者谁有经验解决类似的问题么？
...全文
562 21 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
21 条回复
切换为时间正序
请发表友善的回复…
发表回复
xfq520157 2013-06-28
  • 打赏
  • 举报
 回复
楼主可以分享下如何解决的么，我也遇到要解析200-300M的XML但是我是学PB的，能力不足，能解析的起码得几十个小时
jeff994 2011-09-29
  • 打赏
  • 举报
 回复
问题已经解决， 事情发现不是XML 的问题，， 这么大的文件 也就需要1-2分钟，是程序的其它部分出了问题
hztj2005 2011-08-22
  • 打赏
  • 举报
 回复
我来学习
寒沙胜雪 2011-08-02
  • 打赏
  • 举报
 回复
LINK TO XML
XML-DOM
XML-DATASET
CaptainGan 2011-08-02
  • 打赏
  • 举报
 回复
解析一部分，放入数据库中，然后删除前面的内容，这样应该不会出现上面的问题。
苏丹-陈 2011-08-01
  • 打赏
  • 举报
 回复
优化你的处理过程，别无它法。
a276786511 2011-07-12
  • 打赏
  • 举报
 回复
XML不适合这么大的数据量啊
jeff994 2011-07-08
  • 打赏
  • 举报
 回复
而且，也没好的关系数据库
jeff994 2011-07-08
  • 打赏
  • 举报
 回复
不是随机读写，是要全部的读。
ImN1 2011-07-08
  • 打赏
  • 举报
 回复
VTD-XML

http://vtd-xml.sourceforge.net/

masterz 2011-07-08
  • 打赏
  • 举报
 回复
可以用文件型数据库，比如http://www.sqlite.org/
KK3K2005 2011-07-07
  • 打赏
  • 举报
 回复
吧解析完的内容 作为一个内存映像 保存 或者缓存

如果是随机读写用的话 这么大 还是别用XML了
huntor 2011-07-07
  • 打赏
  • 举报
 回复
.net Use XmlTextReader to parse large XML documents.
http://msdn.microsoft.com/en-us/library/ff647804.aspx#scalenetchaptch09 _topic8
huntor 2011-07-07
  • 打赏
  • 举报
 回复
VTD-XML

Java: StAX or XPP3
挨踢直男 2011-07-07
  • 打赏
  • 举报
 回复
把用 xml描述的数据转换成关系数据吧
关系数据库的优化方案比xml多的多
碧海情天-赵亮 2011-07-07
  • 打赏
  • 举报
 回复
XML的根本特点是“开放性”。如果你只是自己的项目使用，就算使用自定义格式的TEXT文本文件，都比用XML强得多。
碧海情天-赵亮 2011-07-07
  • 打赏
  • 举报
 回复
你用XML做这样的事，就得面对这样的后果。XML根本不适合作为大型数据存储载体。
masterz 2011-07-07
  • 打赏
  • 举报
 回复
如果是解析的效率问题，可以考虑State pattern.
masterz 2011-07-07
  • 打赏
  • 举报
 回复
曾经把element的名字放在map里面，有些element在xml里面只出现了一次，解析到以后就把它从map里面删掉。
加载更多回复（1）
【PHP开发900个实用技巧】95.处理大型XML： PHP流式解析的内存友好方案！
PHP流式解析GB级XML文件实战指南 传统DOM解析大XML文件会导致内存爆表，而流式解析技术能高效处理海量数据。核心方案是使用XMLReader，其独特优势在于： 内存占用恒定（仅2-5MB） 采用事件驱动模式逐节点处理 支持10GB+文件解析 关键技术点： 通过read()方法逐节点遍历 配合readOuterXml()提取当前节点 即时处理即时销毁数据 批量入库+内存熔断机制保障稳定性 生产环境推荐组合方案：流式解析+断点续传+多进程分流，可轻松应对100GB级数据处理需求。
深入浅出带你了解XML实体注入
Xml外部实体注入漏洞（XML External Entity Injection）简称XXE，XXE漏洞发生在应用程序解析XML输入时，没有禁止外部实体的加载，导致可以构造加载恶意外部文件，进而通过恶意外部文件对服务器进行攻击。今天比较详细的讲了XXE漏洞的原理以及应用方法，有兴趣的小伙伴可以自己去搭建靶机来进行测试，喜欢的小伙伴不妨一键三连。## 题外话初入计算机行业的人或者大学计算机相关专业毕业生，很多因缺少实战经验，就业处处碰壁。
Qwen3-Coder-480B-A35B-Instruct 协议实现支持：从XML解析到多模态工具调用
你是否在构建AI代码助手时遇到工具调用格式混乱、长上下文协议解析效率低下、多轮交互状态管理复杂等问题？本文将系统解析Qwen3-Coder-480B-A35B-Instruct的协议实现机制，通过12个核心技术点和7组对比实验，帮助开发者掌握从基础调用到高级多模态集成的全流程解决方案。读完本文你将获得： - 掌握XML格式工具调用的解析原理与实现代码 - 理解256K长上下文协议的优化策略 - 学...
XXE漏洞全解析：原理与危害详解
XXE（XML外部实体注入）漏洞分析摘要 XXE是一种利用应用程序不当处理XML数据的安全漏洞。攻击者通过注入恶意XML实体，可读取服务器敏感文件（如/etc/passwd）、扫描内网、发起SSRF攻击，甚至执行远程代码。漏洞核心在于XML解析器默认允许加载外部实体且未对输入内容进行严格过滤。 主要危害包括： 数据泄露（系统配置、数据库凭证等） 权限提升（通过RCE获取系统控制权） 云环境渗透（窃取IAM角色/ServiceAccount） 业务损失（数据篡改、服务中断） 典型攻击手法包含直接文件读取、带外
千图网千库网设计资源批量下载工具实战解析
千图网与千库网是国内领先的专业数字资源平台，服务于设计师、开发者、广告策划等各类创意工作者。它们提供了丰富的图片、矢量图、模板、视频、音频等资源，广泛应用于商业设计、网站构建、UI/UX设计等多个领域。本章将从资源分类、授权机制、使用场景及平台功能特点四个方面进行深入剖析，帮助读者全面了解这两个平台的核心价值与差异化优势，为后续的素材获取与工具开发打下坚实基础。用户可通过编辑rules.json添加新站点支持。例如增加对千库网视频页的解析："rules": [],
XML/XSL

8,907

社区成员

22,678

社区内容

发帖
与我相关
我的任务
社区描述
XML/XSL相关问题讨论专区
社区管理员
  • XML/XSL社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章