C#自动抓取网页新闻

jiangmin168168 2007-08-17 01:43:38
在C#中,如何自动抓取网页新闻,并将保存在数据库供自己日后用。
...全文
953 21 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
21 条回复
切换为时间正序
请发表友善的回复…
发表回复
ZC2524 2011-06-04
  • 打赏
  • 举报
回复
呵呵,新手 学习!
63880880 2008-07-24
  • 打赏
  • 举报
回复
up
wuyisky84 2007-11-29
  • 打赏
  • 举报
回复
http://www.softbaike.cn 我用工具采集的,你看看是不是要采集这样的
jiangmin168168 2007-08-23
  • 打赏
  • 举报
回复
总是解决不了问题啊,郁闷。
woaimary 2007-08-22
  • 打赏
  • 举报
回复
看这 http://soft.hainasoft.com

可以下载试用版的,限制不到,不过是用来做搜索引擎的,可能配置起来要稍微麻烦点
winner2050 2007-08-22
  • 打赏
  • 举报
回复
这种东西基本都是卖钱的。而且不是一个帖子就能讨论得了所有技术问题的。
lesen 2007-08-22
  • 打赏
  • 举报
回复
这个采集器不错,不仅仅能采集新闻。

http://www.vimei.com/Searcher/
jiangmin168168 2007-08-22
  • 打赏
  • 举报
回复
难道没有朋友做过类似的功能吗?
zhangzhi009 2007-08-22
  • 打赏
  • 举报
回复
我用asp.net.取得网页然后用javascript做的分析,没办发不会正则,于是用JS DOM对象来实现的
Ericcsdn 2007-08-22
  • 打赏
  • 举报
回复
webclient
jiangmin168168 2007-08-20
  • 打赏
  • 举报
回复
在C#中,如何自动抓取网页新闻,并将保存在数据库供自己日后用。
jiangmin168168 2007-08-17
  • 打赏
  • 举报
回复
网上好多都说用那种软件来实现,可是软件有好多的局限性,况且有的是收费的。
各位朋友有没有做过的啊。
woaitiyu 2007-08-17
  • 打赏
  • 举报
回复
关注下,学习
sjsoo 2007-08-17
  • 打赏
  • 举报
回复
那就xml 可以了吧 实在不行本地
platform 2007-08-17
  • 打赏
  • 举报
回复
安全级别高???
SSL?
mrshelly 2007-08-17
  • 打赏
  • 举报
回复
webclient
jiangmin168168 2007-08-17
  • 打赏
  • 举报
回复
HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://"+m_host);
//得到网页。
WebResponse response = null;
response = request.GetResponse();
Stream readStream = response.GetResponseStream();
StreamReader sr = new StreamReader(readStream,Encoding.GetEncoding("utf-8"));
这种方法并不是在每个服务器上都可行的,安全级别高的根本用不了response = request.GetResponse();
这样的方法
designonline 2007-08-17
  • 打赏
  • 举报
回复
HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://"+m_host);
//得到网页。
WebResponse response = null;
response = request.GetResponse();
Stream readStream = response.GetResponseStream();
StreamReader sr = new StreamReader(readStream,Encoding.GetEncoding("utf-8"));
string content = "";
int index = -1;
//寻找数据
while (index < 0 && content != null)
{
content = sr.ReadLine();
//得到标准的ASPX页面的头一共26个字节,以("name=\"__VIEWSTATE\" value=\""开始的
index = content.IndexOf("name=\"__VIEWSTATE\" value=\"",0);
}
jiangmin168168 2007-08-17
  • 打赏
  • 举报
回复
有的服务器根本用不了HttpWebRequest这样的方法,我试了网上好多用这种方法取得网页内容的方法,但是都说服务器那边不支持这样的方法,好像是有防火墙的原因吧。
况且就算是这样可以的话,我也不会分析网页内容来存入数据库啊,还请知道的帮小弟一把。
-过客- 2007-08-17
  • 打赏
  • 举报
回复
HttpWebRequest取得网页源文件,正则分析取出想要的内容,存数据库

62,242

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术交流专区
javascript云原生 企业社区
社区管理员
  • ASP.NET
  • .Net开发者社区
  • R小R
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见,支持健康理性的辩论和互动,反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧