求asp.net爬虫源代码

[achao201]

求asp.net爬虫源代码，能够生成sitemap.xml和sitemap.html 请大家帮忙？

[风骑士之怒]

up

[wo594261]

不错

[浮生若梦丶]

[Quote=引用 16 楼 tellov 的回复:]
5000分,我送上源码,C#开发,winform的,是自己写的用来爬邮件的,多线程,
[/Quote]
好jian,没晓得现在流行什么？开源！

[doorzhaoyang]

10楼的可以用

[孤独侠客123]

http://www.codeplex.com/site/search?ProjectSearchText=spider

[哥本哈士奇]

http://www.codeplex.com/noodle,这个是我写的,功能还不是很完善,而且只能爬一层.

[哥本哈士奇]

完整的爬虫楼主还是看这个吧.
http://www.cnblogs.com/torome/articles/364774.html

[一品梅]

httpwebrequest网站首页，然后得到的流ＲＥＡＤＴＯＥＮＤ，形成字符串，然后进行对字符串的解析。
有的网站一般站点地图和菜单项匹配的。

[一品梅]

然后再动态生成xml或根据xsl转换工具转换成相应html。

[spidershark]

帮顶

[jiang_jiajia10]

用webrequest

        WebRequest Wrq = WebRequest.Create(要爬的地址);
        WebResponse Wrs = Wrq.GetResponse();
        Stream strm = Wrs.GetResponseStream();
        StreamReader sr = new StreamReader(strm, System.Text.Encoding.GetEncoding("UTF-8"));
        string allstrm;
        allstrm = sr.ReadToEnd();
        string strPattern = @"要抓东西的正则";
        MatchCollection Matches = Regex.Matches(allstrm, strPattern, RegexOptions.IgnoreCase | RegexOptions.Compiled);
        foreach (Match NextMatch in Matches)
        {
            得到结果 = NextMatch.Groups[0].Value.ToString().Trim();
        }

然后你把结果生成XML文件就可以了，写个方法带参数的。

[一品梅]

纯代码写起来是很麻烦。
有没有代码逐层跟踪站点？估计只能使用工具了吧。
通用生成类似站点文件只有网站方提供的吧，或者你要熟悉对方网站才行。
木有好好地研究过，呵呵。

肯定不可能写个通用类，对每个站点都有序规则地爬一遍的 :)

[greatverve]

关注。

[zorou_fatal]

有现成工具。

[pgameli]

爬虫是什么东东啊
mark

[空心兜兜]

UP

[tellov]

5000分,我送上源码,C#开发,winform的,是自己写的用来爬邮件的,多线程,

[enasp]

哪有lucence 3.0下啊

[shijingli]

sad

[shaxiaoliang]

lucence是爬虫？那个不是吧！！！