求助！ASP.NET 采集网站数据问题？100分！！-CSDN论坛

求助！ASP.NET 采集网站数据问题？100分！！

.NET技术 > ASP.NET

收藏回复

[问题点数：100分，结帖人zgz1989410]

⋅NPOI创建Excel表，苹果电脑打开有一半汉字是乱码，一半是好的，WIN系统是好的。 ⋅求助！ASP.NET 采集网站数据问题？100分！！ ⋅用一条SQL语句查询问题？？？高手帮忙呀！！！ 更多帖子 关注私信空间博客 zgz1989410 等级 本版专家分：28 结帖率 93.75%: 要采集http://www.sooker.com/xuexiao/这个页面所有的学校信息（学校名称、学校图片路径、学校链接地址），
现在我通过HttpWebRequest请求资源，返回来的结果，用正则只能查找学校链接地址。
想要的结果是把每个学校的名称、学校图片路径、学校链接地址都采集下来并且以“**学校，**学校图片路径，**学校链接地址|**学校，**学校图片路径，**学校链接地址”格式出来。

结果如下：
新尚教育人民广场校区，http://www.sooker.com/data/files/store_551148/other/school_logo.jpg，http://www.sooker.com/551148/|
上海精锐教育黄浦西藏南路中心，http://www.sooker.com/data/files/store_321706/other/school_banner.png，http://www.sooker.com/321706/|
上海精锐教育嘉定丰庄中心，http://www.sooker.com/data/files/store_321719/other/school_banner.png，http://www.sooker.com/321719/|
.....
贝乐学科英语，http://www.sooker.com/data/files/store_554906/other/school_logo.jpg，http://www.sooker.com/554906/|

大家帮帮忙把这个问题解决了，并且把代码发出来。。谢谢！！

2012-02-17 18:11:16

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅求大神解释，为什么和数据库做交互慢。 ⋅求大神解释，为什么和数据库做交互慢。 ⋅设计作品分享 更多帖子 关注私信空间博客 喜阳阳 等级 本版专家分：186: 2012-02-17 18:32:46

点赞只看TA 引用举报 #1得分 0

⋅4+8可以开启双通道吗？

⋅请管理员帮我删除一个下载资源。

⋅求购一套高中英语教材，第一单元是The Summer Holidays

更多帖子

关注私信空间博客

dalmeeme

等级

本版专家分：75230

勋章

微软MVP 2013年7月荣获微软MVP称号
2012年7月荣获微软MVP称号

蓝花 2011年12月 .NET技术大版内专家分月排行榜第三

用HtmlAgilityPack，自行网上下载dll文件，获取：

		HttpWebRequest httpWebRequest = WebRequest.Create(@"http://www.sooker.com/xuexiao/") as HttpWebRequest;

		HttpWebResponse httpWebResponse = httpWebRequest.GetResponse() as HttpWebResponse;

		Stream stream = httpWebResponse.GetResponseStream();

		StreamReader reader = new StreamReader(stream, Encoding.GetEncoding("gb2312"));

		string s = reader.ReadToEnd();

		reader.Close();

		httpWebResponse.Close();

		HtmlDocument htmlDoc = new HtmlDocument();

		htmlDoc.LoadHtml(s);

		HtmlNodeCollection imgs = htmlDoc.DocumentNode.SelectNodes(@"//ul[@class='curriculumUl']/li//div[@class='pic']/a/img");

		foreach (HtmlNode img in imgs)

			Response.Write(img.Attributes["src"].Value + "<br/>");

		HtmlNodeCollection anchors = htmlDoc.DocumentNode.SelectNodes(@"//ul[@class='curriculumUl']/li//a[@class='school-name']");

		foreach (HtmlNode anchor in anchors)

		{

			Response.Write(anchor.Attributes["href"].Value + "<br/>");

			Response.Write(anchor.InnerHtml + "<br/>");

		}

		Response.End();

输出：
http://www.sooker.com/data/files/store_551148/other/school_logo.jpg
http://www.sooker.com/data/files/store_321706/other/school_banner.png
http://www.sooker.com/data/files/store_321719/other/school_banner.png
http://www.sooker.com/data/files/store_548150/other/school_banner.png
http://www.sooker.com/data/files/store_550463/other/school_banner.jpg
http://www.sooker.com/data/files/store_549020/other/school_logo.jpg
http://www.sooker.com/data/files/store_551650/other/school_logo.jpg
http://www.sooker.com/data/files/store_320298/other/school_logo.png
http://www.sooker.com/data/files/store_321068/other/school_banner.jpg
http://www.sooker.com/data/files/store_554906/other/school_logo.jpg
http://www.sooker.com/551148/
新尚教育人民广场校区
http://www.sooker.com/321706/
上海精锐教育黄浦西藏南路中心
http://www.sooker.com/321719/
上海精锐教育嘉定丰庄中心
http://www.sooker.com/548150/
上海精锐教育闵行龙柏中心
http://www.sooker.com/550463/
杭州京翰教育庆春校区
http://www.sooker.com/549020/
北京艺海星图艺术培训机构
http://www.sooker.com/551650/
北京博雅环球
http://www.sooker.com/320298/
启德学府
http://www.sooker.com/321068/
石家庄师大美术辅导美意培训中心
http://www.sooker.com/554906/
贝乐学科英语

2012-02-17 19:31:08

点赞只看TA 引用举报 #2得分 100

按照楼主要求的格式：

		HttpWebRequest httpWebRequest = WebRequest.Create(@"http://www.sooker.com/xuexiao/") as HttpWebRequest;

		HttpWebResponse httpWebResponse = httpWebRequest.GetResponse() as HttpWebResponse;

		Stream stream = httpWebResponse.GetResponseStream();

		StreamReader reader = new StreamReader(stream, Encoding.GetEncoding("gb2312"));

		string s = reader.ReadToEnd();

		reader.Close();

		httpWebResponse.Close();

		HtmlDocument htmlDoc = new HtmlDocument();

		htmlDoc.LoadHtml(s);

		HtmlNodeCollection lis = htmlDoc.DocumentNode.SelectNodes(@"//ul[@class='curriculumUl']/li");

		string[] results = new string[lis.Count];

		for (int i = 0; i < lis.Count; i++)

		{

			HtmlNode img = lis[i].SelectSingleNode(".//div[@class='pic']/a/img");

			HtmlNode anchor = lis[i].SelectSingleNode(".//a[@class='school-name']");

			results[i] = string.Format("{0},{1},{2}", img.Attributes["src"].Value, anchor.InnerHtml, anchor.Attributes["href"].Value);

		}

		string r = string.Join("|", results);

		Response.Write(r);

		Response.End();

输出：
http://www.sooker.com/data/files/store_551148/other/school_logo.jpg,新尚教育人民广场校区,http://www.sooker.com/551148/|http://www.sooker.com/data/files/store_321706/other/school_banner.png,上海精锐教育黄浦西藏南路中心,http://www.sooker.com/321706/|http://www.sooker.com/data/files/store_321719/other/school_banner.png,上海精锐教育嘉定丰庄中心,http://www.sooker.com/321719/|http://www.sooker.com/data/files/store_548150/other/school_banner.png,上海精锐教育闵行龙柏中心,http://www.sooker.com/548150/|http://www.sooker.com/data/files/store_550463/other/school_banner.jpg,杭州京翰教育庆春校区,http://www.sooker.com/550463/|http://www.sooker.com/data/files/store_549020/other/school_logo.jpg,北京艺海星图艺术培训机构,http://www.sooker.com/549020/|http://www.sooker.com/data/files/store_551650/other/school_logo.jpg,北京博雅环球,http://www.sooker.com/551650/|http://www.sooker.com/data/files/store_320298/other/school_logo.png,启德学府,http://www.sooker.com/320298/|http://www.sooker.com/data/files/store_321068/other/school_banner.jpg,石家庄师大美术辅导美意培训中心,http://www.sooker.com/321068/|http://www.sooker.com/data/files/store_554906/other/school_logo.jpg,贝乐学科英语,http://www.sooker.com/554906/

2012-02-17 19:32:53

点赞只看TA 引用举报 #3得分 0

不好意思，反掉了，更正一下：

		HttpWebRequest httpWebRequest = WebRequest.Create(@"http://www.sooker.com/xuexiao/") as HttpWebRequest;

		HttpWebResponse httpWebResponse = httpWebRequest.GetResponse() as HttpWebResponse;

		Stream stream = httpWebResponse.GetResponseStream();

		StreamReader reader = new StreamReader(stream, Encoding.GetEncoding("gb2312"));

		string s = reader.ReadToEnd();

		reader.Close();

		httpWebResponse.Close();

		HtmlDocument htmlDoc = new HtmlDocument();

		htmlDoc.LoadHtml(s);

		HtmlNodeCollection lis = htmlDoc.DocumentNode.SelectNodes(@"//ul[@class='curriculumUl']/li");

		string[] results = new string[lis.Count];

		for (int i = 0; i < lis.Count; i++)

		{

			HtmlNode img = lis[i].SelectSingleNode(".//div[@class='pic']/a/img");

			HtmlNode anchor = lis[i].SelectSingleNode(".//a[@class='school-name']");

			results[i] = string.Format("{0},{1},{2}", anchor.InnerHtml, img.Attributes["src"].Value, anchor.Attributes["href"].Value);

		}

		string r = string.Join("|", results);

		Response.Write(r);

		Response.End();

输出：
新尚教育人民广场校区,http://www.sooker.com/data/files/store_551148/other/school_logo.jpg,http://www.sooker.com/551148/|上海精锐教育黄浦西藏南路中心,http://www.sooker.com/data/files/store_321706/other/school_banner.png,http://www.sooker.com/321706/|上海精锐教育嘉定丰庄中心,http://www.sooker.com/data/files/store_321719/other/school_banner.png,http://www.sooker.com/321719/|上海精锐教育闵行龙柏中心,http://www.sooker.com/data/files/store_548150/other/school_banner.png,http://www.sooker.com/548150/|杭州京翰教育庆春校区,http://www.sooker.com/data/files/store_550463/other/school_banner.jpg,http://www.sooker.com/550463/|北京艺海星图艺术培训机构,http://www.sooker.com/data/files/store_549020/other/school_logo.jpg,http://www.sooker.com/549020/|北京博雅环球,http://www.sooker.com/data/files/store_551650/other/school_logo.jpg,http://www.sooker.com/551650/|启德学府,http://www.sooker.com/data/files/store_320298/other/school_logo.png,http://www.sooker.com/320298/|石家庄师大美术辅导美意培训中心,http://www.sooker.com/data/files/store_321068/other/school_banner.jpg,http://www.sooker.com/321068/|贝乐学科英语,http://www.sooker.com/data/files/store_554906/other/school_logo.jpg,http://www.sooker.com/554906/

2012-02-17 19:35:32

点赞只看TA 引用举报 #4得分 0

⋅NPOI创建Excel表，苹果电脑打开有一半汉字是乱码，一半是好的，WIN系统是好的。 ⋅求助！ASP.NET 采集网站数据问题？100分！！ ⋅用一条SQL语句查询问题？？？高手帮忙呀！！！ 更多帖子 关注私信空间博客 zgz1989410 等级 本版专家分：28: 编译器错误消息: CS0234: 命名空间“System”中不存在类型或命名空间名称“Windows”(是缺少程序集引用吗?)
源错误:
行 13: using System.Net;
行 14: using System.Text;
行 15: using System.Windows.Forms;

大哥，BS架构好像没有 System.Windows.Forms.HtmlDocument 怎么解决啊？

2012-02-19 21:56:11

点赞只看TA 引用举报 #6得分 0

⋅4+8可以开启双通道吗？

⋅请管理员帮我删除一个下载资源。

⋅求购一套高中英语教材，第一单元是The Summer Holidays

更多帖子

关注私信空间博客

dalmeeme

等级

本版专家分：75230

勋章

微软MVP 2013年7月荣获微软MVP称号
2012年7月荣获微软MVP称号

蓝花 2011年12月 .NET技术大版内专家分月排行榜第三: 这个HtmlDocument是属于HtmlAgilityPack的，http://www.codeplex.com/htmlagilitypack

2012-02-19 22:23:41

点赞只看TA 引用举报 #7得分 0

⋅4+8可以开启双通道吗？

⋅请管理员帮我删除一个下载资源。

⋅求购一套高中英语教材，第一单元是The Summer Holidays

更多帖子

关注私信空间博客

dalmeeme

等级

本版专家分：75230

勋章

微软MVP 2013年7月荣获微软MVP称号
2012年7月荣获微软MVP称号

蓝花 2011年12月 .NET技术大版内专家分月排行榜第三: 开头using HtmlAgilityPack;

2012-02-19 22:24:14

点赞只看TA 引用举报 #8得分 0

⋅分享到qq空间代码 ⋅中国银行支付接口 ⋅input text调用后台方法 更多帖子 关注私信空间博客 rr998 等级 本版专家分：193: 学习了！收藏起来！

2012-02-20 14:19:04

点赞只看TA 引用举报 #9得分 0

⋅分享到qq空间代码 ⋅中国银行支付接口 ⋅input text调用后台方法 更多帖子 关注私信空间博客 rr998 等级 本版专家分：193

引用 4 楼 dalmeeme 的回复:

不好意思，反掉了，更正一下：

C# code

HttpWebRequest httpWebRequest = WebRequest.Create(@"http://www.sooker.com/xuexiao/") as HttpWebRequest;
HttpWebResponse httpWebResponse = httpWebRequest.G……

能不能说下，采集这样写的规则啊



HtmlNode img = lis[i].SelectSingleNode(".//div[@class='pic']/a/img");

            HtmlNode anchor = lis[i].SelectSingleNode(".//a[@class='school-name']");

2012-02-20 15:05:21

点赞只看TA 引用举报 #10得分 0

1 2

收起

收藏回复

zgz1989410

等级：

关注私信 TA的帖子

高手求助asp.net与设备通讯问题

ASP.NET整合Discuz!NT3.5实例说明(含用户登录、评论等): 前一阵想做一个团购导航网站，看到某些团购导航站都有论坛，自己也想加一个，研究了下Discuz!NT，发现有API接口，就忽然想到了用Discuz!NT来整合网站，岂不是很方便，会员那部分就不需要自己开发了。说干就干，下来...

ASP.NET整合Discuz!NT3.5实例说明(含用户登录、评论等): 前一阵想做一个团购导航网站，看到某些团购导航站都有论坛，自己也想加一个，研究了下Discuz!NT，发现有API接口，就忽然想到了用Discuz!NT来整合网站，岂不是很方便，会员那部分就不需要自己开发了。 <br />说...

[求助] asp采集问题，被这问题卡住两天了解决不了，求高人指点

资深黑客教小白如何攻破一个网站！超级详细的教学教程！太牛逼了: 现在我们获取了网站服务器的IP地址为:173.236.138.113 寻找同一服务器上的其它网站，我们使用sameip.org. 我们需要关于你网站的以下信息： DNS records (A, NS, TXT, MX and SOA) Web Server Type (Apache...

【CSDN 专访刘洪峰】我为什么坚守了.NET技术十多年: 【说明】这是一篇关于我的CSDN专访文章文章，原文链接：http://www.csdn.net/article/2014-12-19/2823223/1 刘洪峰（博客），网名叶帆，叶帆科技创始人兼CEO，前微软（中国）.NETMicroFramework开发团队成员，...

vb/vb.net原创文章精粹（4）: [url=http://www.vbbaike.com/show.asp?id=101410]各位帮忙找一个w70n5msg.dll 文件[/url] [url=http://www.vbbaike.com/show.asp?id=101409]ＶＢ中如何使用insert语句，插入一条纪录[/url] [url=...

如何在 asp.net 中使用 WMI 功能，创建web站点等: [求助]关于AWT或SWING 中所有对象是否会自动回收的问题用快逸报表开发过c/s架构程序的请进用过Jocky混淆器的请进！ JTable的checkbox列是否可以按条件显示出来？上传文件中文乱码,IO里的一个关于session...

vb/vb.net原创文章精粹（5）: [url=http://www.vbbaike.com/show.asp?id=101470]VB 制作安装程序时，如何让安装时提示的界面都是中文？[/url] [url=http://www.vbbaike.com/show.asp?id=101469]帮忙看看程序----提示“多步OLE DB产生错误,...

webmagic采集CSDN的Java_WebDevelop页面: 使用webmagic采集博客类的网站示例

如何让新网站被百度快速收录?: 一、首先就是大家都熟知的百度网站提交，提交地http://www.baidu.com/search/url_submit.htm，只需要提交网站的首页即可。以前做完这一步就被百度收录的几率很大，现在百度算法调整后，效果没那么明显了，但是提交了...

1、测试诊断软件工具大集合！: 一。显卡类： 1。 3DMark 2001 SE Build 330版For Win9x/ME/2000/XP [url]http://file.mydrivers.com/tools/tweak/3DMark2001SE.exe[/url] 2。 3DMark03 Build 3.4.0完整版For Win9x/ME/2000/XP [ur...

精美人体艺术网站源码: 比这几天收录的那些小偷什么的强100倍！！！！！！如果发现不能采集了或者你希望采的站点你修改不了采集请跟帖或者加qq：1366984 我帮你写~ 问题求助：http://www.ynftp.cn 5u的程序每个栏目都带测试过能...

java开发速成班培训课程（9）: [url=http://www.buildapp.net/java/show.asp?id=20400]java日期插入oracl出錯????﹗﹗﹗﹗﹗??????[/url] [url=http://www.buildapp.net/java/show.asp?id=20399]请大家介绍一下通过java认证的名称、准备时间...

我和我网站经历的那10年: 02年的那个夏天我从技校毕业分配到浙江宁波一个工厂去实习。那时候脱离学校有种快乐感觉，总于脱离校园了。那时候有个风靡校园的网络游戏传奇，实习毕竟空的。下班后食堂吃点饭就和几个同学直奔网吧玩网络游戏传奇。...

java开发速成班培训课程（23）: [url=http://www.buildapp.net/java/show.asp?id=33400]ISO7816 1-4 的免费文件说明网页[/url] [url=http://www.buildapp.net/java/show.asp?id=33399]高手推荐几本，j2me的书籍吧[/url] [url=...

SNIFFER问题集锦: 具体问题解决： 1.SNIFFER4.75无法使用，打开后提示 No adapter is binding to Sniffer driver 如下图 4.7.5 With SP5以上支持千兆以太网,一般我们从网络上下载的4.75不支持千M网卡 4.7.5 With SP5下载： ...

iphone开发课堂笔记整理（9）: [url=http://www.buildapp.net/iphone/show.asp?id=44500]iOS开发中的initWithCoder:方法是做什么用的？[/url] [url=http://www.buildapp.net/iphone/show.asp?id=44499]如何让uitextview 既可以输入换行又可以...

android开发每日汇总【2011-11-02】: [url=http://www.buildapp.net/android/show.asp?id=39300]Android 小闹钟（三）[/url] [url=http://www.buildapp.net/android/show.asp?id=39299]android如何获取本机ip地址[/url] [url=...

Plone学习笔记 ( by quqi99 ): Plone学习笔记 ( by quqi99 ) 作者：张华发表于：2008-10-19 ( http://blog.csdn.net/quqi99 )版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明。

WHO AM I？看定自己的耕垦区域 (转): WHO AM I？看定自己的耕垦区域 (转)[@more@]——记华表控件对我开发历程的影响 XML:namespace prefix = v ns = "urn:schemas-microsoft-com:vml" />...

久溜溜电影程序修改版: 1.拿到本程序,完全不动的把所有文件上传到你的网站空间的目录。 2.输入 http://你的网址/Install.asp (例如:你的电影网址是http://www.123.com 那你就是http://www.23.com/Install.asp)。 3.安装好后.进入后台 ...

VC控件: 一个从没想过的问题今天终于出现了！我自己都感到以外！呵呵，什么问题呢？可能你也没想过哦。即使想过，你解答了没有？是一个聊天的程序，类似于QQ的界面。简化一点说把。（注意是简化）一个基于对话框的的程序，...

eclipse plugin webGIS MapXtreme / ditu / kuaidi / wuliu: 物流信息监控平台申通、圆通、汇通、中通、韵达、顺丰、EMS 、海航天天 58.240.86.13* 上网IP http://58.240.86.23*/server-status ... 在准确的时间 / 把准确的货物 / 送到准确的地点 ...

ARIMA模型-matlab代码: ARIMA模型-matlab代码，可以根据自己的实际情况进行参数调节，实现所需要的效果。

以太坊ETH挖矿图文教程2.0: 本教程页数不多，7页，主要描述如何使用以太坊ETH挖矿，图文并茂的展示和流程细节的体现，基本看了一遍就肯定能够学会了。

python大作业--爬虫（完美应付大作业）.zip: python大作业分享--30多个项目任你选（由于上传大小限制分多个文件上传。爬虫：https://download.csdn.net/download/weixin_43960044/12533382小游戏：https://download.csdn.net/download/weixin_43960044/12533379），应付大作业完全没问题。内涵30多个项目，随意挑选。爬虫（爬抖音视频、下载B站视频、怕天气预报等）小游戏（五子棋、坦克大战、贪吃蛇、拼图等）。

2020五一建模A题解题思路.zip: 2020年五一数学建模A题解题思路最容易建模的是秦皇岛港动力煤价格的主要因素的影响，分别统计2019年5月1日至2020年4月30日一年内影响煤炭价格数据变化，（主要因素包括气候变化、出行方式、能源消耗方式、国际煤炭市场）。建立预测模型（时间序列预测模型， Elman神经网络预测模型等），预测煤炭价格变化。

自动驾驶.pdf（2021 mathorcup A题）: 自动驾驶模型的建立

LABVIEW入门与实战开发100例.pdf: LABVIEW入门与实战开发100例，从基础到入门的基本实例。

相关热词 c#编程培训 c# 打开一个文件流 c#实现队列的操作 c# 遍历文件夹下的文件 c#控制键盘 c#opc编程 c# cs文件 c# 加锁编程c# c# 计算字节单位