如何抓取远程网页上的内容？

[yw2sym]

如何抓取远程网页上的内容？

[lovvver]

你想怎么抓？

[HurYun]

http://dotnet.aspx.cc/ShowDetail.aspx?id=0A6660CE-4138-41EF-B882-15DB65564709

[artak]

private string getHtmlCode(string url)
{
string resultHtmlCode;
WebClient wc = new WebClient();
byte[] pageData = wc.DownloadData(@url);
resultHtmlCode = Encoding.Default.GetString(pageData);
return resultHtmlCode;
}

private string getNewsList(string htmlCode)
{
int startPos, endPos, codeLenth;
startPos = htmlCode.IndexOf("<!--新闻开始-->", 1);
startPos = startPos + 11;
endPos = htmlCode.IndexOf("<!--新闻结束-->", startPos);
codeLenth = endPos - startPos;
string newsList = htmlCode.Substring(startPos, codeLenth);
return newsList;
}
private void showNewsList()
{
string url = "http://news.sina.com.cn/news1000/index.shtml";
string htmlCode = getHtmlCode(url);
string newsList = getNewsList(htmlCode);
Response.Write(newsList);
}

[boylez]

mark

[CTBOK]

mark web

[mhjmhj2000]

不能做成配置文件吗？不然，换一个网站就得再写一次代码

[dlzhangln]

用HttpWebRequest
然后用正则表达式匹配

CookieContainer cc = new CookieContainer();
HttpWebRequest request=(HttpWebRequest) WebRequest.Create(new Uri("你的网页");
request.CookieContainer=cc;
HttpWebResponse response=(HttpWebResponse) request.GetResponse();
System.IO.Stream resstream=response.GetResponseStream();
StreamReader reader=new StreamReader(resstream,System.Text.Encoding.Default);
string sHtml=reader.ReadToEnd();

[来客心动]

抓取容易，提取正文有点难度

[heilong05]

呵呵。

[feifeiya1458]

早点结贴吧

[mhjmhj2000]

哪位大侠把提取正文的部分写成可配置的啊，这样不就可以了吗？

[mhjmhj2000]

我也要弄个这样的程序呢，提取正文就有点难度　：（

[ycqing]

？