C# 取某网站最新的10条新闻

[lkmepte]

如题,求大神给点思路

[成都-狗蛋儿]

private string GetWebContent(string url)
    {
        string strResult = "";
        try
        {
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
            request.Timeout = 10 * 1000; //设置连接超时时;
            request.Headers.Set("Pragma", "no-cache");
            HttpWebResponse response = (HttpWebResponse)request.GetResponse();
            Stream streamReceive = response.GetResponseStream();
            Encoding encoding = Encoding.GetEncoding("UTF-8");
            StreamReader streamReader = new StreamReader(streamReceive, encoding);
            strResult = streamReader.ReadToEnd();
            streamReader.Close();
            response.Close();
        }
        catch (Exception ex)
        {
            strResult = ex.Message + "\nFailed to read the contents of \"" + url + "\".Please check it manually!";
        }
        return strResult;
    }

[lkmepte]

引用 6 楼 xiaoxin3357 的回复:

网络爬虫的功能

网络爬虫可以取出链接出来,过滤到其中的图片,但还有很多其他的链接.怎么去区分哪些是新闻,哪些是广告

[卧_槽]

引用 8 楼 lkmepte 的回复:

引用 6 楼 xiaoxin3357 的回复:

网络爬虫的功能

网络爬虫可以取出链接出来,过滤到其中的图片,但还有很多其他的链接.怎么去区分哪些是新闻,哪些是广告

你是如何区分一个网页里哪些是内容，哪些是广告的？

[yuanmashijie]

可以参考一下这个博客园整站文件采集器源码，使用了多线程和正则提取链接，正文智能提取：http://www.hellocsharp.com/code/42.aspx

[於黾]

你现在到底是从网页上抓数据不会,还是抓到数据后过滤出最新的10条不会?

[lkmepte]

网页上去抓 取不会

引用 1 楼 Z65443344 的回复:

你现在到底是从网页上抓数据不会,还是抓到数据后过滤出最新的10条不会?

[wangnaisheng]

http://bbs.csdn.net/topics/330018645

[romanchaos]

RSS 字符串补丁

[lkmepte]

引用 4 楼 romanchaos 的回复:

RSS 字符串补丁

相当于用网络爬虫去取指定网站,然后再去截取里面的新闻

[万婷]

网络爬虫的功能

[jason36900]

你好 我目前也正在做這部分 相關的可以給你一些建議 我是用html tag去抓取的 然後可以設變數 X 讓X存在於你的html tag裡面就可以一次抓十筆