ASP蜘蛛抓取网页演示 - 散分

sunshift 2008-04-11 02:27:27
演示中可以输入任何有效地址进行测试;
演示地址:
http://www.531.hk/demo/spider/
...全文
399 21 打赏 收藏 转发到动态 举报
写回复
用AI写文章
21 条回复
切换为时间正序
请发表友善的回复…
发表回复
quan 2009-03-11
  • 打赏
  • 举报
 回复
请问你这个蜘蛛程序能抓图片过来不？？
njtongfei 2008-04-26
  • 打赏
  • 举报
 回复
能不能开源下啊 想学习下啊 LZ
lew830715 2008-04-26
  • 打赏
  • 举报
 回复
不错不错
ld2099 2008-04-26
  • 打赏
  • 举报
 回复
查询关键字密度、模拟搜索引擎抓取、计算网页信噪比、百度与Google关键字位置查询 的代码
http://www.chxwei.com/article.asp?id=209
gbfxixi 2008-04-26
  • 打赏
  • 举报
 回复
[Quote=引用 9 楼 xieyang678 的回复:]
想学习,可以分享不
[/Quote]
silence2k 2008-04-26
  • 打赏
  • 举报
 回复
asp小偷.....
williamsummer 2008-04-26
  • 打赏
  • 举报
 回复
作的还不错
jhwcd 2008-04-25
  • 打赏
  • 举报
 回复
学习中,没有试过!!!!
抱抱我的小猫 2008-04-25
  • 打赏
  • 举报
 回复
学习
bansi 2008-04-25
  • 打赏
  • 举报
 回复
找货源,找代销,做生意,上高迪网(GGDY.COM)专业的免费货源供求平台

这个是LZ自己加的？经常会多出这个东西来。
偶尔还会遇到抓取内容重复。

001over
snllll 2008-04-24
  • 打赏
  • 举报
 回复
可惜啊……
代码不给大家看
xieyang678 2008-04-18
  • 打赏
  • 举报
 回复
想学习,可以分享不
liyong888_8 2008-04-11
  • 打赏
  • 举报
 回复
想学习,可以分享不?!
ymle1228 2008-04-11
  • 打赏
  • 举报
 回复
MARK
sunshift 2008-04-11
  • 打赏
  • 举报
 回复
[Quote=引用 4 楼 luxu001207 的回复:]
还可以，不过链接筛选的不是很好
[/Quote]

感谢测试;
已经根据你的回复修改链接筛选相关内容;
Atai-Lu 2008-04-11
  • 打赏
  • 举报
 回复
http://www.531.hk/demo/spider/?url=http%3A%2F%2Fwww.sina.com%2F&button=%CB%D1%CB%F7URL&op=admin
Atai-Lu 2008-04-11
  • 打赏
  • 举报
 回复
还可以，不过链接筛选的不是很好
mrshelly 2008-04-11
  • 打赏
  • 举报
 回复
呵呵...


http://www.531.hk/demo/spider/?url=www.163.com&button=%CB%D1%CB%F7URL&op=admin
Mapleleaf123 2008-04-11
  • 打赏
  • 举报
 回复
开源不？
No_Data_Found 2008-04-11
  • 打赏
  • 举报
 回复
嗯 还可以

html元素不让蜘蛛抓取,屏蔽网站后台禁止搜索引擎蜘蛛抓取的方法
搜索引擎爬取网页内容的工具我们都称之为搜索引擎蜘蛛，如果希望屏蔽蜘蛛抓取某个页面到搜索引擎服务器中，可以通过robots.txt文件来限制蜘蛛抓取。很多朋友希望屏蔽网站后台禁止搜索引擎蜘蛛抓取，又不希望其他用户了解到网站后台地址，这时候能否通过robots.txt文件来限制呢？首先，我们来分析一下robots.txt文件的作用以及使用方法。搜索引擎蜘蛛来到站点准备抓取网页内容之前，会先访问该网站根...
搜索引擎蜘蛛算法与蜘蛛程序构架-参考知识
搜索引擎蜘蛛算法与蜘蛛程序构架 网络Spider即Web Spider，是一个很形象的名字。把互联网比喻成一个Spider网，那么Spider就是在网上爬来爬去的Spider。网络Spider是通过网页的链接(LINK)地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接(LINK)地址，然后通过这些链接(LINK)地址寻找下一个网页，这样一直循环...
网络蜘蛛的秘密
  　　经常去雅虎、搜狐等网站搜索信息的读者一定有这样的疑问：如此庞大的网页信息，到底是如何被这些网站所收集到的呢？难道都是人工登记并整理的吗？当然不是。这些搜索引擎能够快速地找到如此之多的信息，和网络蜘蛛的应用是分不开的。　　网络蜘蛛可以算得上是为Internet而开发的最有用处的工具之一。时至今日，要想从以千万计的各不相同的站点中获取信息，舍网络蜘蛛之外，焉有他哉？　　一个典型的网络蜘蛛（
搜索引擎原理（网络蜘蛛基本原理）（2）
 网络蜘蛛即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互
ASP

28,403

社区成员

356,946

社区内容

发帖
与我相关
我的任务
社区描述
ASP即Active Server Pages，是Microsoft公司开发的服务器端脚本环境。
社区管理员
  • ASP
  • 无·法
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章