正在用asp做个蜘蛛(抓取整个网站,并生成全新html网站,只要运行一下这个文件,整个asp\php\jsp网站就html化了,爽),动态网站的福音,,

ediex 2006-07-20 07:55:11
准备用asp做个蜘蛛(抓取整个网站,并生成全新html网站,只要运行一下这个文件,整个asp\php\jsp网站就html化了

用数据结构中的遍历图的算法和正则表达式找出整个网站的链接URL
并存xml文件


根据链接URL,生成文件名


xmlhttp抓取htm文件,并根据链接URL替换成新的链接

成功生成整个html网站


特别象一些公司网站小于1000个页面的,原来是动态网站,只要后台修改后,用一下蜘蛛,就整个网站给html化了,这样访问速度快,也更于搜索引擎访问






...全文
1134 点赞 收藏 39
写回复
39 条回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
luscom 2006-12-16
我想知道下 javascript里的数组变量怎么抓去?
这个我想抓去 可是抓去不出来~
向学习一下这方面的知识
回复
wj021chen 2006-07-21
学习ing............
回复
fkue23 2006-07-21
教教新手们,给点代码之类的啊!
我也想学学呢
回复
nayc 2006-07-21
来学习~
回复
wanglingg 2006-07-21
不过无法抓取button的request page
回复
wanglingg 2006-07-21
呵呵 我也正在做 快做完了 我的是java做的
回复
lyfer 2006-07-21
确实不算蜘蛛.呵呵,fso搞出来的
回复
net205 2006-07-21
不错的思路,
不过用asp做效率有问题,如果页面多,数据库记录多(像文章发布系统),页面层次深度太就速度是个问题.
回复
vance2005 2006-07-21
支持中。。。
回复
lstup 2006-07-21
只不过是fso整站而已,不算蜘蛛
回复
wwlibin 2006-07-21
指导一下
回复
shenpu 2006-07-21
我也在期待中....
回复
跑路的蛤蟆 2006-07-21
给个代码之类的东东呀
不要自己偷着乐
回复
chinastorm 2006-07-21
相当于webzip的功能?
回复
jspadmin 2006-07-21
我也正想做呢
回复
jbj001 2006-07-21
mark
回复
heyjude1983 2006-07-21
UP,顶了哈
回复
mezzi100 2006-07-21
期待ing,要帮忙说一声
回复
jolinkyo 2006-07-21
正想做,怎么做啊?
回复
skangming 2006-07-21
支持一个!
回复
发帖
ASP
创建于2007-09-28

2.8w+

社区成员

ASP即Active Server Pages,是Microsoft公司开发的服务器端脚本环境。
申请成为版主
帖子事件
创建了帖子
2006-07-20 07:55
社区公告
暂无公告