C#爬虫爬去异步加载页面

蓝芷大帅逼 2018-05-07 10:52:22

目前是查看网页源代码看不到资源，通过检查可以看到
感觉是ajax的问题
想做一个c#的小应用，但是以前没用过c#爬虫，有哪位大神可以帮忙指点一二吗

附下网页链接:http://www.rainpat.com
输入公司名：江苏北方湖光光电有限公司
点击检索，需要获得的是“共检索到多少件专利”

...全文

624 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

泡泡龙 2018-08-23

打赏
举报

回复

fiddler抓包看一下数据提交，然后自己模拟就行。不用管ajax

threenewbee 2018-08-22

打赏
举报

回复

需要登录，然而你也没有提供一个账号，怎么帮你测试？建议你自己用f12抓包看下。

爬虫，又称网络爬虫或网页爬虫，是一种用来自动浏览互联网的网络机器人。其主要功能是收集网页信息，这些信息可以被搜索引擎用来创建索引。爬虫通常依照某种预定的规则访问网页，获取所需的数据，例如网页的内容、元数据甚至是特定链接等，然后记录或存储这些信息供进一步处理或分析。

Selenium是一个自动化测试工具，能模拟真实浏览器操作，包括点击、输入、滚动等，支持多种浏览器（Chrome、Firefox、Edge等）。它通过WebDriver协议控制浏览器，执行JavaScript，等待页面加载后抓取内容。WebDriver、浏览器驱动（ChromeDriver等）、测试脚本Python、Java、C#等多种语言模拟真实用户行为，突破JavaScript渲染限制，支持复杂交互。

在数据采集和自动化测试领域，无头浏览器技术已成为处理现代动态网页的核心工具。其原理在于模拟真实浏览器环境，执行JavaScript并渲染页面，从而获取传统HTTP请求无法直接抓取的内容。这一技术对于确保数据采集的完整性和自动化流程的可靠性具有重要价值，尤其在电商数据监控、舆情分析等场景中不可或缺。当与AI技术结合时，无头浏览器为AI爬虫和智能体（AI Agent）提供了关键的测试沙盒，用于验证其解析准确性与行为逻辑。本文聚焦于AI驱动的爬虫模拟测试，深入探讨了如何利用无头浏览器进行环境搭建、真人行为模拟，并

反爬策略1：通过UA限制或者其他头信息限制解决方案：构建用户代理池或其他头信息反爬策略2：通过访问者IP限制解决方案：构建IP代理池反爬策略3：通过验证码限制解决方案：手工打码、验证码接口自动识别或者通过机器学习自动识别反爬策略4：通过数据的异步加载限制解决方案：抓包分析或者使用PhantomJS反爬策略5：通过Cookie限制解决方案：进行Cookie处理反爬策略6：通过JS限制（如请求的数据通...

浏览器自动化是现代软件开发中的重要技术领域，它通过程序控制浏览器行为，模拟真实用户操作。其核心原理基于浏览器开发者协议，通过驱动内核实现页面导航、元素交互与数据获取。这项技术的工程价值在于能够实现端到端测试、数据采集和流程自动化，大幅提升开发与运维效率。在应用场景上，它广泛用于Web应用测试、动态内容抓取和RPA机器人流程自动化。本文聚焦于Playwright这一新兴的浏览器自动化库，它凭借强大的自动等待机制和网络请求拦截能力，为C#开发者提供了比传统Selenium更稳定高效的解决方案，特别适合处理SPA

111,129

社区成员

642,532

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章