如何抓取远程网页上的内容?

yw2sym 2006-08-14 05:15:37
如何抓取远程网页上的内容?
...全文
249 13 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
13 条回复
切换为时间正序
请发表友善的回复…
发表回复
ycqing 2006-12-06
  • 打赏
  • 举报
回复
mhjmhj2000 2006-12-06
  • 打赏
  • 举报
回复
我也要弄个这样的程序呢,提取正文就有点难度 :(
mhjmhj2000 2006-12-06
  • 打赏
  • 举报
回复
哪位大侠把提取正文的部分写成可配置的啊,这样不就可以了吗?
feifeiya1458 2006-12-06
  • 打赏
  • 举报
回复
早点结贴吧
heilong05 2006-12-06
  • 打赏
  • 举报
回复
呵呵。
来客心动 2006-12-06
  • 打赏
  • 举报
回复
抓取容易,提取正文有点难度
dlzhangln 2006-12-06
  • 打赏
  • 举报
回复
用HttpWebRequest
然后用正则表达式匹配

CookieContainer cc = new CookieContainer();
HttpWebRequest request=(HttpWebRequest) WebRequest.Create(new Uri("你的网页");
request.CookieContainer=cc;
HttpWebResponse response=(HttpWebResponse) request.GetResponse();
System.IO.Stream resstream=response.GetResponseStream();
StreamReader reader=new StreamReader(resstream,System.Text.Encoding.Default);
string sHtml=reader.ReadToEnd();
mhjmhj2000 2006-12-06
  • 打赏
  • 举报
回复
不能做成配置文件吗?不然,换一个网站就得再写一次代码
CTBOK 2006-12-06
  • 打赏
  • 举报
回复
mark web
boylez 2006-08-26
  • 打赏
  • 举报
回复
mark
artak 2006-08-14
  • 打赏
  • 举报
回复
private string getHtmlCode(string url)
{
string resultHtmlCode;
WebClient wc = new WebClient();
byte[] pageData = wc.DownloadData(@url);
resultHtmlCode = Encoding.Default.GetString(pageData);
return resultHtmlCode;
}

private string getNewsList(string htmlCode)
{
int startPos, endPos, codeLenth;
startPos = htmlCode.IndexOf("<!--新闻开始-->", 1);
startPos = startPos + 11;
endPos = htmlCode.IndexOf("<!--新闻结束-->", startPos);
codeLenth = endPos - startPos;
string newsList = htmlCode.Substring(startPos, codeLenth);
return newsList;
}
private void showNewsList()
{
string url = "http://news.sina.com.cn/news1000/index.shtml";
string htmlCode = getHtmlCode(url);
string newsList = getNewsList(htmlCode);
Response.Write(newsList);
}
HurYun 2006-08-14
  • 打赏
  • 举报
回复
http://dotnet.aspx.cc/ShowDetail.aspx?id=0A6660CE-4138-41EF-B882-15DB65564709
lovvver 2006-08-14
  • 打赏
  • 举报
回复
你想怎么抓?

111,097

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • AIGC Browser
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧