C#自动抓取网页新闻

[jiangmin168168]

在C#中，如何自动抓取网页新闻，并将保存在数据库供自己日后用。

[-过客-]

HttpWebRequest取得网页源文件，正则分析取出想要的内容，存数据库

[jiangmin168168]

有的服务器根本用不了HttpWebRequest这样的方法，我试了网上好多用这种方法取得网页内容的方法，但是都说服务器那边不支持这样的方法，好像是有防火墙的原因吧。
况且就算是这样可以的话，我也不会分析网页内容来存入数据库啊，还请知道的帮小弟一把。

[designonline]

HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://"+m_host);
//得到网页。
WebResponse response = null;
response = request.GetResponse();
Stream readStream = response.GetResponseStream();
StreamReader sr = new StreamReader(readStream,Encoding.GetEncoding("utf-8"));
string content = "";
int index = -1;
//寻找数据
while (index < 0 && content != null)
{
content = sr.ReadLine();
//得到标准的ASPX页面的头一共26个字节，以("name=\"__VIEWSTATE\" value=\""开始的
index = content.IndexOf("name=\"__VIEWSTATE\" value=\"",0);
}

[jiangmin168168]

HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://"+m_host);
//得到网页。
WebResponse response = null;
response = request.GetResponse();
Stream readStream = response.GetResponseStream();
StreamReader sr = new StreamReader(readStream,Encoding.GetEncoding("utf-8"));
这种方法并不是在每个服务器上都可行的，安全级别高的根本用不了response = request.GetResponse();
这样的方法

[mrshelly]

webclient

[platform]

安全级别高???
SSL?

[sjsoo]

那就xml 可以了吧 实在不行本地

[woaitiyu]

关注下，学习

[jiangmin168168]

网上好多都说用那种软件来实现，可是软件有好多的局限性，况且有的是收费的。
各位朋友有没有做过的啊。

[jiangmin168168]

在C#中，如何自动抓取网页新闻，并将保存在数据库供自己日后用。

[Ericcsdn]

webclient

[zhangzhi009]

我用asp.net.取得网页然后用javascript做的分析,没办发不会正则,于是用JS DOM对象来实现的

[jiangmin168168]

难道没有朋友做过类似的功能吗？

[lesen]

这个采集器不错，不仅仅能采集新闻。

http://www.vimei.com/Searcher/

[winner2050]

这种东西基本都是卖钱的。而且不是一个帖子就能讨论得了所有技术问题的。

[woaimary]

看这 http://soft.hainasoft.com

可以下载试用版的,限制不到,不过是用来做搜索引擎的,可能配置起来要稍微麻烦点

[jiangmin168168]

总是解决不了问题啊，郁闷。

[wuyisky84]

http://www.softbaike.cn 我用工具采集的，你看看是不是要采集这样的

[63880880]

up

[ZC2524]

呵呵，新手 学习！