社区
C#
帖子详情
C# Winform项目,如何实现定期抓取网站中指定栏目中的内容
sxl_88
2015-03-30 08:55:11
在C# Winform项目中,想通过“网络爬虫”定时抓取某个网站中的指定某个菜单中的内容(指定某个菜单的内容有可能是列表,也有可能纯文字或文字加图片的说明内容)。
注:指定某个菜单中的内容是列表的话,“网络爬虫”既可以抓取列表也可以抓取列表对应的每条明细内容
请问各位,有没有能实现上述功能“网络爬虫”的相关资料,最好能提供“网络爬虫”相关DEMO。谢谢!
...全文
248
4
打赏
收藏
C# Winform项目,如何实现定期抓取网站中指定栏目中的内容
在C# Winform项目中,想通过“网络爬虫”定时抓取某个网站中的指定某个菜单中的内容(指定某个菜单的内容有可能是列表,也有可能纯文字或文字加图片的说明内容)。 注:指定某个菜单中的内容是列表的话,“网络爬虫”既可以抓取列表也可以抓取列表对应的每条明细内容 请问各位,有没有能实现上述功能“网络爬虫”的相关资料,最好能提供“网络爬虫”相关DEMO。谢谢!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
sxl_88
2015-03-31
打赏
举报
回复
谢谢楼上的回复,还有没有其它回复。。。
本拉灯
2015-03-31
打赏
举报
回复
http://www.cnblogs.com/hadoopdev/p/3510678.html http://www.cnblogs.com/frederick-liu/archive/2010/11/21/1883465.html http://www.cnblogs.com/ice-river/p/4110799.html
sxl_88
2015-03-31
打赏
举报
回复
请问各位还有没有其它的办法,谢谢。
Regan-lin
2015-03-30
打赏
举报
回复
只能给你思路,用正则匹配,网页本来就是种xml,可以写条正则匹配到你想要的内容!
记一次
C#
的web模拟登录
抓取
模拟登录的文章有很多,代码也有很多,但是缺少详细的关于如何
抓取
登录时的请求
内容
,以及我在模拟登录过程
中
出现的一些问题。
实现
步骤;使用抓包工具(这里使用360浏览器自带的工具)
抓取
登录动作时我们向服务法送的请求的
内容
使用httpwebrequest模拟请求,然后获取应答
内容
,保存cookie;使用保存的cookie发起需要获取页面的请求获取页面
内容
。以艺龙旅行网为例子:首先打开艺龙的登录页面,在36...
笨笨图片批量下载器 V0.3 beta[
C#
|
WinForm
| 正则表达式 | HttpWebRequest | Async异步编程] new...
前言 从【笨笨图片批量
抓取
下载 V0.2 beta】到【笨笨图片批量下载器 V0.3 beta】时间将近2个月,不是说这个升级版本开发了这么久,实在是懒,呵呵: )再加有时候工作忙、学习,多的时间就不愿意动了,现在都感觉辜负了上一版N多朋友的支持了,不过这将近一个星期时间我按计划完成了这个小软件版的升级开发,并且依然和上两个版本一样保持源代码开源,文章最后有下载地址,以下是这个版...
C#
免费教程(bili
网站
搜罗VSTO免费视频资源)
在bilibili
网站
搜索关键字“
C#
”后,搜索结果如下图所示,搜索结果比搜索VSTO的资源多了太多了,足有50页之多。 哪个更好呢?经过笔者的梳理,以下几个值得推荐。 1
C#
语言入门详解 网址如下:https://www.bilibili.com/video/av1422127?from=search&seid=17012583466892866315 主要
内容
如下: P1 课程简介,...
仿站小工具+V8.1:高效
网站
抓取
与数据提取实战工具
作为微软推出的一套完整的软件开发平台,.NET Framework 不仅提供了一组丰富的类库,更构建了一个统一的执行环境,使得多种语言(
C#
、VB.NET、F# 等)可以在同一平台上无缝协作。这种“语言无关性”与“自动内存管理”的特性极大提升了开发效率,尤其适用于需要长期运行、高稳定性的数据采集服务。现代网络爬虫往往需要处理成百上千个初始入口URL,手动输入显然不现实。为此,必须支持多种格式的批量导入机制,同时确保数据质量与系统稳定性。
wpf+qt+html,.NET4.5 WFP
中
用WebBrowser获取/操作网页html代码
引言想给自己之前写的网页小说爬虫程序更新换代,之前一直是用
winform
的形式写的程序,因此这一次更新打算把UI换成WPF(因为听说WPF很漂亮),顺便也以此引入WPF的学习。那么作为网页爬虫程序,最重要的就是html源码的获取了,通常的获取方式有几种:HttpWebRequest、WebRequest、WebClient、WebBrowser等。由于我这里写的爬虫软件针对的
网站
需要先登录才能看到...
C#
111,119
社区成员
642,554
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章