ASP蜘蛛抓取网页演示 - 散分

sunshift 2008-04-11 02:27:27

演示中可以输入任何有效地址进行测试;
演示地址:
http://www.531.hk/demo/spider/

...全文

373 21 打赏收藏转发到动态举报

写回复

用AI写文章

21 条回复

切换为时间正序

请发表友善的回复…

发表回复

quan 2009-03-11

打赏
举报

请问你这个蜘蛛程序能抓图片过来不？？

njtongfei 2008-04-26

打赏
举报

能不能开源下啊想学习下啊 LZ

lew830715 2008-04-26

打赏
举报

不错不错

ld2099 2008-04-26

打赏
举报

查询关键字密度、模拟搜索引擎抓取、计算网页信噪比、百度与Google关键字位置查询的代码
http://www.chxwei.com/article.asp?id=209

gbfxixi 2008-04-26

打赏
举报

[Quote=引用 9 楼 xieyang678 的回复:]
想学习,可以分享不
[/Quote]

silence2k 2008-04-26

打赏
举报

asp小偷.....

williamsummer 2008-04-26

打赏
举报

作的还不错

jhwcd 2008-04-25

打赏
举报

学习中,没有试过!!!!

抱抱我的小猫 2008-04-25

打赏
举报

学习

bansi 2008-04-25

打赏
举报

找货源,找代销,做生意,上高迪网(GGDY.COM)专业的免费货源供求平台

这个是LZ自己加的？经常会多出这个东西来。
偶尔还会遇到抓取内容重复。

001over

snllll 2008-04-24

打赏
举报

可惜啊……
代码不给大家看

xieyang678 2008-04-18

打赏
举报

想学习,可以分享不

liyong888_8 2008-04-11

打赏
举报

想学习,可以分享不?!

ymle1228 2008-04-11

打赏
举报

MARK

sunshift 2008-04-11

打赏
举报

[Quote=引用 4 楼 luxu001207 的回复:]
还可以，不过链接筛选的不是很好
[/Quote]

感谢测试;
已经根据你的回复修改链接筛选相关内容;

Atai-Lu 2008-04-11

打赏
举报

http://www.531.hk/demo/spider/?url=http%3A%2F%2Fwww.sina.com%2F&button=%CB%D1%CB%F7URL&op=admin

Atai-Lu 2008-04-11

打赏
举报

还可以，不过链接筛选的不是很好

mrshelly 2008-04-11

打赏
举报

呵呵...

http://www.531.hk/demo/spider/?url=www.163.com&button=%CB%D1%CB%F7URL&op=admin

Mapleleaf123 2008-04-11

打赏
举报

开源不？

No_Data_Found 2008-04-11

打赏
举报

嗯还可以

仿百度搜索引擎软件蜘蛛组件包括三大功能模块：链接采集、网页分析、无效网页扫描；自动识别GB2312、BIG5、UTF-8、Unicode等网页编码；文件类型证察防止非文本类型文件采集；蜘蛛可以采集ASP、PHP、JSP等动态数据网页和HTML、SHTML、XHTML等静态网页；支持续采功能，如果因系统、网络等故障问题终止采集，系统将在下次启动采集时提示您是否“继续采集”或“结束任务”；采集任务管理功能可以设置多个采集任务安排计划工作，每一个采集任务将会顺次运行；本程序完全高仿百度，有自主开发的蜘蛛智能抓取网页功能，非网络上仅仅只是界面模仿的免费程序！程序包含15大功能！ 1.网页搜索 2.搜索风云榜 3.网址导航 4.竞价排名 5.蜘蛛智能抓取网页 6.网站qp值智能排名 7.后台违法关键字过滤 8.网站智能分类 9.违法作弊网站一键删除 10.网站登录入口 11.信息反馈留言板 12.搜索右侧自定义广告 13.已收录网站和网页统计 14.网站一键收录 15.客户端蜘蛛系统和web蜘蛛系统演示截图请见code文件夹！程序运行环境：PHP+MYSQL 负载亿级数据！程序官方演示地址： http://www.kuaso.com/ 程序购买和服务 http://www.kuaso.com/a/buy.html 程序后台演示图片 http://www.kuaso.com/a/wzht.html 蜘蛛后台演示图片 http://www.kuaso.com/a/ht.html 本程序为演示程序，已经删除蜘蛛系统和竞价排名系统！运行install.php 填入信息安装后台admin 账号admin 密码admin 本演示程序包含数据为已收录网站:197 已收录网页:1274

仿百度搜索引擎,仿谷歌搜索引擎软件蜘蛛组件包括三大功能模块：链接采集、网页分析、无效网页扫描；自动识别GB2312、BIG5、UTF-8、Unicode等网页编码；文件类型证察防止非文本类型文件采集；蜘蛛可以采集ASP、PHP、JSP等动态数据网页和HTML、SHTML、XHTML等静态网页；本程序完全高仿百度,谷歌，有自主开发的蜘蛛智能抓取网页功能，非网络上仅仅只是界面模仿的免费程序！程序包含24大功能！1.网页搜索2.搜索风云榜3.网址导航4.竞价排名5.蜘蛛智能抓取网页6.网站qp值智能排名7.后台违法关键字过滤8.网站智能分类9.违法作弊网站一键删除10.网站登录入口11.信息反馈留言板12.搜索右侧自定义广告13.已收录网站和网页统计14.网站一键收录15.web蜘蛛系统16.wap系统17.后台数据库备份还原18.新增天气搜索19.修正推广用户无法修改密码BUG20.新增一键收录21.修正0积分推广重大漏洞22.完善仿百度开放平台23.添加视频搜索小偷24.本地软件镶嵌web蜘蛛后台，方便本地操作程序运行环境：PHP MYSQL 负载亿级数据！本程序为演示程序，已经删除蜘蛛系统和竞价排名系统！运行install.php 填入信息安装后台admin账号admin密码admin888

结合这个你就可以写一个蜘蛛访问记录了，如何判断正常用户或者蜘蛛？可以粗略的这样来判断：通过判断用户的访问来源页面

网络收集编辑发布一个演示展示网络蜘蛛技能

本企业管理系统完全针对百度和谷歌两大搜索引擎的算法量身打造，将企业站SEO深入系统的每一个功能。鉴于百度、谷歌等搜索引擎对asp页面的抓取技术已经相当成熟，以及对网站空间大小的考虑，本系统采取伪静态动态从数据库读取数据，并在首页采取多方链接的技术，更有利于百度和谷歌的抓取数据。不同于一般企业管理系统，一般企业管理系统为了单纯的美化效果，不惜以牺牲SEO为代价，结果做出来的站对搜索引擎不友好，只能做出一个“美观”的垃圾站。本系统采取功能针对百度、谷歌做SEO： 1.支持自主错误页面404.htm，只需做一个404.htm，并且有指向首页地址的链接即可，然后放到根目录即可。 2.导航栏菜单采取文本的方式，而不是图片（很多企业站为了美观采取图片做导航，不易于蜘蛛抓取数据），更重要的事，后台可以自定义导航栏锚文本，可以设置相关链接，这样就能在主导航栏做关键词，增加关键词密度。 3.次导航功能 4.右侧导航，可以增加关键词密度，达到SEO的目的 5.首页新闻的布局与显示，采用两个板块显示新闻，从而让搜索引擎快速抓取文章内容。 6.支持sitemap.htm和sitemap.xml，对搜索引擎更加友好 7.根目录下的robots.txt文件，指定百度蜘蛛和谷歌蜘蛛可以抓取除管理后台以外的任何文档 8.根目录增加谷歌蜘蛛识别文件 9.本站内链建设、关键词布局非常适合搜索引擎，值得借鉴和使用系统安全方面，本系统采取MD5加密，SQL防注入，防止ip攻击，并能自动锁定ip，在数据库方面，采用多种符号来更改数据库的文件路径，内容也进行加密。本站后台：网址/admin/ 初始用户名：admin 密码：idc020 请及时修改。本站简介大方，功能强大，尤其对于SEO网站排名优化非常有效，是做企业站的经典程序。本站由作者免费放出，可以免费下载使用。本站整站是一个会计师事务所，是作者两年前为该会计师事务所定制的网站，当时优化的关键词：广州会计师事务所（www.gzdccpa.cn）。由于本系统强大的SEO功能，该站至今未曾进行推广，关键词排名依然保持在百度和谷歌首页一年多未曾跌过。如有问题，请联系QQ：531720771，本站演示地址：www.gzdccpa.cn

ASP

28,409

社区成员

356,971

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章