用htmlparser采集html内容时的问题

qiang925 2010-04-22 10:30:35

请问，当用这个htmlparser采集时，如果一个html页面里面有几十万个链接，而我又要把这几十万个链接取出来，然后再把html里面的字取出来，tomcat 经常出 out of memory,请问，有什么办法解决吗？

...全文

75 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

cd0425 2010-04-22

打赏
举报

回复

没必要把所有链接都放到类存里吧比如拿十个处理完了在拿下十个处理

qiang925 2010-04-22

打赏
举报

回复

顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶顶

qiang925 2010-04-22

打赏
举报

回复

急问啊，弄了几天，还是内存溢出

qiang925 2010-04-22

打赏
举报

回复

是啊，这个我也知道，但htmlparser里面的方法，好像只提供全部取出来的，没有逐个逐个取的

本文介绍如何使用Python内置的HTMLParser库实现网页内容提取，涵盖自定义解析器设计、状态管理、标签处理与文本清洗等核心技术。结合requests发起HTTP请求，设置请求头应对反爬，并通过异常处理提升解析健壮性。适用于数据挖掘、舆情监控等场景。

本文详细介绍了HTMLParser库的功能与使用方法，涵盖了HTML文档解析、DOM树构建、事件驱动处理、容错机制等多个核心技术点。通过实际案例展示了如何利用HTMLParser解析真实网页内容，并结合Apache HttpClient和Jsoup等工具实现高效的数据抓取系统。

本文针对HtmlParser解析HTML时因编码不一致导致的乱码问题，提出两个核心类文件的重写优化方案。通过自动编码检测、字节特征分析、多级回退策略与高效转换算法，提升解析准确率与系统健壮性，支持直接集成至现有项目，显著降低数据丢失风险。

该实例展示了如何利用Winista.HtmlParser库在C#环境下抓取网页源代码并分析，特别是针对图像标签的筛选。通过AndFilter和NodeFilter实现对ImageTag的过滤，提取所有图片的src属性和HTML表示，适用于asp.net环境的网页数据采集。

本文介绍了一种名为WrapperComment的类，用于从特定网站抓取产品评论。通过实例代码展示了如何构造、获取页面内容、过滤并提取表格和评论详情。适合信息采集者提升工作效率。

62,621

社区成员

307,251

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章