用htmlparser采集html内容时的问题

qiang925 2010-04-22 10:30:35

请问，当用这个htmlparser采集时，如果一个html页面里面有几十万个链接，而我又要把这几十万个链接取出来，然后再把html里面的字取出来，tomcat 经常出 out of memory,请问，有什么办法解决吗？

...全文

76 4 打赏收藏举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

cd0425 2010-04-22

打赏
举报

回复

没必要把所有链接都放到类存里吧比如拿十个处理完了在拿下十个处理

qiang925 2010-04-22

打赏
举报

回复

顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶

qiang925 2010-04-22

打赏
举报

回复

急问啊，弄了几天，还是内存溢出

qiang925 2010-04-22

打赏
举报

回复

是啊，这个我也知道，但htmlparser里面的方法，好像只提供全部取出来的，没有逐个逐个取的

本文介绍如何使用Python内置的HTMLParser库实现网页内容提取，涵盖自定义解析器设计、状态管理、标签处理与文本清洗等核心技术。结合requests发起HTTP请求，设置请求头应对反爬，并通过异常处理提升解析健壮性。适用于数据挖掘、舆情监控等场景。

本文详细介绍了HTMLParser库的功能与使用方法，涵盖了HTML文档解析、DOM树构建、事件驱动处理、容错机制等多个核心技术点。通过实际案例展示了如何利用HTMLParser解析真实网页内容，并结合Apache HttpClient和Jsoup等工具实现高效的数据抓取系统。

本文详解使用Java HttpClient实现网页抓取、HtmlParser进行HTML解析的数据采集方案。涵盖环境搭建、HTTP请求封装（含超时、User-Agent、连接复用）、HTML节点过滤（NodeFilter）与遍历（NodeVisitor）、新闻标题提取完整案例，以及乱码处理、反爬识别、JDK兼容性等常见问题排查方法，聚焦Java生态下轻量级爬虫的核心技术实践。

本文针对HtmlParser解析HTML时因编码不一致导致的乱码问题，提出两个核心类文件的重写优化方案。通过自动编码检测、字节特征分析、多级回退策略与高效转换算法，提升解析准确率与系统健壮性，支持直接集成至现有项目，显著降低数据丢失风险。

本文详解基于Apache HttpClient与HtmlParser（含Jsoup）的Java轻量级网页爬虫实现，涵盖HTTP请求封装、HTML节点树解析、URL队列管理（BFS）、中文编码处理、相对链接补全、去重机制及反爬应对策略，并延伸至分布式演进路径（Redis队列、消息中间件、存储升级），聚焦真实开发中的关键问题与工程实践。

62,620

社区成员

307,251

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章