如何抓取远程网页上的内容？

yw2sym 2006-08-14 05:15:37

如何抓取远程网页上的内容？

...全文

308 13 打赏收藏转发到动态举报

写回复

用AI写文章

13 条回复

切换为时间正序

请发表友善的回复…

发表回复

ycqing 2006-12-06

打赏
举报

？

mhjmhj2000 2006-12-06

打赏
举报

我也要弄个这样的程序呢，提取正文就有点难度　：（

mhjmhj2000 2006-12-06

打赏
举报

哪位大侠把提取正文的部分写成可配置的啊，这样不就可以了吗？

feifeiya1458 2006-12-06

打赏
举报

早点结贴吧

heilong05 2006-12-06

打赏
举报

呵呵。

来客心动 2006-12-06

打赏
举报

抓取容易，提取正文有点难度

dlzhangln 2006-12-06

打赏
举报

用HttpWebRequest
然后用正则表达式匹配

CookieContainer cc = new CookieContainer();
HttpWebRequest request=(HttpWebRequest) WebRequest.Create(new Uri("你的网页");
request.CookieContainer=cc;
HttpWebResponse response=(HttpWebResponse) request.GetResponse();
System.IO.Stream resstream=response.GetResponseStream();
StreamReader reader=new StreamReader(resstream,System.Text.Encoding.Default);
string sHtml=reader.ReadToEnd();

mhjmhj2000 2006-12-06

打赏
举报

不能做成配置文件吗？不然，换一个网站就得再写一次代码

CTBOK 2006-12-06

打赏
举报

mark web

boylez 2006-08-26

打赏
举报

mark

artak 2006-08-14

打赏
举报

private string getHtmlCode(string url)
{
string resultHtmlCode;
WebClient wc = new WebClient();
byte[] pageData = wc.DownloadData(@url);
resultHtmlCode = Encoding.Default.GetString(pageData);
return resultHtmlCode;
}

private string getNewsList(string htmlCode)
{
int startPos, endPos, codeLenth;
startPos = htmlCode.IndexOf("", 1);
startPos = startPos + 11;
endPos = htmlCode.IndexOf("", startPos);
codeLenth = endPos - startPos;
string newsList = htmlCode.Substring(startPos, codeLenth);
return newsList;
}
private void showNewsList()
{
string url = "http://news.sina.com.cn/news1000/index.shtml";
string htmlCode = getHtmlCode(url);
string newsList = getNewsList(htmlCode);
Response.Write(newsList);
}