28,406
社区成员
发帖
与我相关
我的任务
分享提问：绝对有难度的问题，进来细谈。
今天翻报，偶然看到一行："一般的搜索引擎都会有一个被称为'机器人'或'爬虫'的程序，它们每天会在internet上不断地搜索网站，然后经过整理(根据html页面中的<meta>标志)添加到搜索引擎的数据库中…"
这种"爬虫"能否用asp来做啊？
我的想法是：这种程序通过访问每个网站（如何得到网址？穷举？要不就是访问事收集的网址。）读入每个页面的<head>中的<meta keywords>中的信息。然后分类写入数据库。
但关键是不知如何用一个asp程序去读一个html文件的代码。
你的看法是…？？
这种"爬虫"能否用asp来做啊？
我的想法是：这种程序通过访问每个网站（如何得到网址？穷举？要不就是访问事收集的网址。）读入每个页面的<head>中的<meta keywords>中的信息。然后分类写入数据库。
但关键是不知如何用一个asp程序去读一个html文件的代码。
你的看法是…？？
...全文
请发表友善的回复…
发表回复
julyclyde 2002-01-05
- 打赏
- 举报
不能用ASP
那些都是自动运行的机器人，而ASP是有了请求才执行的
网站好像是需要穷举的。但是文件名和目录不用。一般的站点根目录都有robots.txt说明搜索范围
那些都是自动运行的机器人，而ASP是有了请求才执行的
网站好像是需要穷举的。但是文件名和目录不用。一般的站点根目录都有robots.txt说明搜索范围
