c# 做爬虫求大牛指点

[小白卟白]

想用c# 做爬虫大致分为以下模块（以csdn为例）：
1.通过Url 获取页面各个元素里的数据；
2.可以点赞,收藏；
有没有大牛指点一下思路，或分享一下相关源码

[wooddy1982]

1、正则表达式分析 a 元素。查到你想要的 url。 2、可以点赞,收藏，你得先知道 onclick 里的脚本是怎么写的。

[threenewbee]

fiddler抓包分析，httpwebrequest照着写

[X-i-n]

最方便的做法是selenium，尤其是需要登录的场景里。流程是：定位到元素 -> 发出点击动作。 参考 https://mp.weixin.qq.com/s/05fXPl60LUj66j9-Mj2wPg 爬虫五例 中的最后一个例子。

[qq_30412191]

HtmlAgilityPack ，用这个包解析网页，然后抓取就好了，别用坑别的正则匹配

[小白卟白]

引用 3 楼 X-i-n 的回复:

最方便的做法是selenium，尤其是需要登录的场景里。流程是：定位到元素 -> 发出点击动作。 参考 https://mp.weixin.qq.com/s/05fXPl60LUj66j9-Mj2wPg 爬虫五例 中的最后一个例子。

selenium有没有可以触发页面点击事件的实例或文章？

[小白卟白]

引用 4 楼 qq_30412191 的回复:

HtmlAgilityPack ，用这个包解析网页，然后抓取就好了，别用坑别的正则匹配

HtmlAgilityPack 好像不能添加缓存 ，点赞需要先登录才行！

[以专业开发人员为伍]

HtmlAgilityPack是解析页面的工具。爬页面是爬页面，登录是登录。一个产品需要多种技能而且都能开发，只会给笙箫塞黄豆是不行的。

[小白卟白]

引用 8 楼 以专业开发人员为伍 的回复：

HtmlAgilityPack是解析页面的工具。爬页面是爬页面，登录是登录。一个产品需要多种技能而且都能开发，只会给笙箫塞黄豆是不行的。

找一个可行的思路而已

[qq_30412191]

引用 7 楼 小白卟白 的回复:

[quote=引用 4 楼 qq_30412191 的回复:]HtmlAgilityPack ，用这个包解析网页，然后抓取就好了，别用坑别的正则匹配

HtmlAgilityPack 好像不能添加缓存 ，点赞需要先登录才行！[/quote]不能添加缓存是什么意思

[小白卟白]

引用 7 楼 小白卟白 的回复:

[quote=引用 4 楼 qq_30412191 的回复:]HtmlAgilityPack ，用这个包解析网页，然后抓取就好了，别用坑别的正则匹配

csdn点赞 需要先登录 ，我用了winform的webBrowser控件模拟登录 然后获取web缓存的token值。像httprequest可以将tonken 添加到request 的Headers里再请求页面。

[YBcsdn1996]

我有一个 爬图片的 c# winform 写的
链接给你一下

[YBcsdn1996]

https://download.csdn.net/download/qq_37820925/11199393

[zxy2847225301]

使用CefSharp，把网页都嵌入进来，想要啥就要啥，模拟鼠标点击，模拟键盘输入都没问题