关于网页提取操作方法推荐

IT流渊 2010-08-12 09:29:39

有个项目，可能要用到提取网页内容的技术，到网上找了一下基本上都是
HtmlAgilityPack 或者 HtmlParser 两者技术

对于静态的html利用上面的两个操作，基本都可以实现捕获操作。

就是不知道 js动态生成的内容，这两个或者其中的1个能不能也能
捕获到js生成的内容？？？

有做过网页捕获的前辈们请指点指点......

再这里先谢过了~~~

...全文

78 6 打赏收藏转发到动态举报

写回复

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

liaoyukun111 2010-08-13

打赏
举报

回复

高级呀关注学习

IT流渊 2010-08-13

打赏
举报

回复

帮帮忙哇同志们~~

haoyk 2010-08-12

打赏
举报

回复

HtmlAgilityPack HtmlParser 跟楼主学习了。

symbol_bc 2010-08-12

打赏
举报

回复

帮顶，似乎不太好办！

nlx0201 2010-08-12

打赏
举报

回复

自己都可以写一个类来获取网页中类容的

网页正文提取通过随机抽取若干有代表性的固网与移动端的主流媒体来看，大多数的页面布局均具备一定特征可循，正文在网页中通常以两种方式来展现： 1.以标签的开闭区间静态值的方式来描述， 2.通过AJAX多次请求的方式懒加载。提取操作时可以通过一种或几种算法的叠加应用来获取绝大多数网页的正文信息，从业务应用的角度上看，错误率在可接受方位内，不会对产品和业务产生实质性影响。方法： 1、标签定位：...

应用需求word是我们平常办公最常用的文字处理软件之一了，但是我们第一手阅读的材料却并不通常是用word来写就的（非doc格式），可能是txt文本，pdf文件，更多的可能就是网页内容了。我们希望有一种轻快便捷的方案可以很容易地将网页内容导出成doc格式的文件，这样我们就可以用word来处理它们了。今天老师让我办件事，是登录进一个问卷调查网页，将所有问卷内容提取出来，整理成word文件发给她。我在登进

不同的方法适用于不同的情况，例如如果目标网站使用的是JavaScript动态加载数据，那么使用Scrapy-Splash可能会更加适合。如果目标网站的数据比较简单，那么使用浏览器开发者工具可能会更加方便。如果需要模拟用户的操作，那么使用Selenium可能是更好的选择。总之，需要根据具体情况选择合适的方法，才能高效地获取动态网页的数据。综上所述，选择合适的方法取决于具体的需求。如果需要模拟用户的操作，可以使用Selenium。动态网页是指在用户交互过程中，网页内容不断更新和变化的网页。

ColorZilla|网页颜色颜色提取具体功能使用方法如果你是一个开发人员或从事着与颜色相关的工作，对颜色有一定的需求，那么这个插件一定可以帮助到你。 ColorZilla 是最受欢迎的 Firefox 开发人员扩展之一，下载超过 500万次，终于可以在 Chrome 上使用了! 使用 ColorZilla，您可以从浏览器中的任何一点获得颜色读数，快速调整此颜色并将其粘贴到另一个程序中。除了获取颜色读数，它还有其他的功能。具体功能 ✓吸管-获取页面上任何像素的颜色 ✓高级选色器（类似于Photoshop

在日常的学习和工作中，很多人都会需要到网上查找一些资料。当查找到我们需要的资料时，想要复制下来，可是网页上有限制，不允许复制粘贴。这时很多小伙伴就采取手动输入的方式了，如果资料不太多的话，手动输入的方式还可以接受。如果量比较大的话，手动输入就比较费劲了。今天小编教给大家3种方法，轻松提取网页文字哦。方法一：使用源代码复制很多小伙伴可能不知道怎样找到源代码，很简单，在需要复制文字网页的空白处点击鼠标...

62,074

社区成员

669,028

社区内容

发帖

与我相关

我的任务

javascript云原生企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见，支持健康理性的辩论和互动，反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧

+ 用AI写文章