数据搜索

[shezhang]

我是一个毕业生，正在写一篇论文，题目是“Web数据挖掘”，它实际上是一个搜索引擎，我准备是用.NET来做的，不过有一点困难。
我有两个方案：
1、是一个新闻系统，数据表有标题、内容等字段，例如，我想要新浪网的新闻，把搜索到的网页，提取信息，再写入数据库，然后返回到我自已的网页。
2、在某个网站内进行搜索，就像百度和google搜索，但我想做的并没有那么强大，我只限在特定的一个网站内。返回来的信息有标题信息链接，也有摘要信息。我想最大的问题是怎样遍历整个网站的文件呢？
如果你有相关的想法或资料，请与我联系，谢谢！