社区
ASP
帖子详情
寻找全文搜索引擎的蜘蛛程序???
luxboy
2003-08-18 04:04:20
寻找全文搜索引擎的蜘蛛程序,可以自动搜集网站信息入数据库,最好是免费的,谢谢!
...全文
39
3
打赏
收藏
寻找全文搜索引擎的蜘蛛程序???
寻找全文搜索引擎的蜘蛛程序,可以自动搜集网站信息入数据库,最好是免费的,谢谢!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Tonglu
2003-08-18
打赏
举报
回复
用asp实现比较难,是不是像google.com那样的看一下这个http://expert.csdn.net/Expert/topic/2145/2145195.xml?temp=.5300257
gancen
2003-08-18
打赏
举报
回复
也许吧?等等看也许有人知道
luxboy
2003-08-18
打赏
举报
回复
没人知道吗???
爬虫
搜索引擎
实例有兴趣的朋友可以研究一哈
关于爬虫技术 一、什么是爬虫 我这里所说的爬虫就是传统的
搜索引擎
,因为我们一度把YAHOO一类的目录也称作
搜索引擎
,所以这个概念已经有些混乱了。
搜索引擎
:也叫 "
蜘蛛
"或 "网络爬虫",为了能产生web页的目录册,
搜索引擎
持续不停的访问internet上的web站点。由于他们是自动运行,并将大量的web页进行索引,
搜索引擎
也经常能够发现没有列在目录中的信息。 "
搜索引擎
"这个词一般都用来描述真正的
搜索引擎
和目录,其实他们并不是一回事,区别在于结果列表是如何编译生成的。 二、
搜索引擎
与目录的区别 1)
搜索引擎
:
搜索引擎
,如HotBot,自动产生列表。
搜索引擎
在web上爬行,于是人们用它们来搜索。 如果逆向改变你的web页,
搜索引擎
最后会发现这些变化。并会对你的列表方式产生变化。页面标题,正文即其他因素都会产生影响。 2)目录: 一个类如Yahoo的目录是依靠人工列表。 你向目录递交一份自己整个站点的描述,或者编辑为他们所看过的站点写一份。 搜索只有在递交的描述中
寻找
回应。 3)混合
搜索引擎
:有一些
搜索引擎
拥有一个相关的目录,包含于一个
搜索引擎
的目录通常是幸运与质量的结合。 三、
搜索引擎
的组成部分
搜索引擎
由三个主要元素。第一是spider,也叫crawler。 Spider访问一个web页,阅读并接着跟随此站点的其他连结。这就是有人指的站点被spidered或crawled.这个spider就会规律性的访问此站点,如每一两个月,来发现是否有变化。 Spider发现的一切都进入到
搜索引擎
的第二个部分:索引。有时索引叫做目录,像一本包含有spider发现的每一个web页的巨书,如果有一个web页发生变化,于是此书就会更新新的信息。 有时对于新页面或spiders加到索引中的变化来说它要花一会时间。这样,一个web页也许已被 "发现" 但还没有被 "索引"。在它被索引以前----即加入到索引-----对那些用此
搜索引擎
搜索人来说是不可用的。
搜索引擎
软件是一个
搜索引擎
的第三个部分。 这就是一种
程序
-----通过审查上百万记录在索引中的页面来找到搜索的回应并将其归类为他认为是最相关的。
搜索引擎
特征页:这一页的信息已经从每一个
搜索引擎
的帮助页里拿出来,并带有从文章、评论、书籍、独立的研究以及其他来自于各个不同的
搜索引擎
的信息。 所有的
搜索引擎
都具有以上描述的基本部分,但这些部分是如何来协调的是有区别的。这就是为什么在不同的
搜索引擎
上进行同样的搜索经常会产上不同的结果。 四、新趋势 垂直引擎(vertigine:vertical engine), 往往是目录和爬虫技术混合之后的再发展,更加注重科学的分类技术,以搜索的精确性和正确性为首要保证。
PhpSou垂直
搜索引擎
1.2 GBK 20111226.rar
PhpSou系统全面开源免费发布,无需授权即可用于商业应用,同时我们将建立系统互动交流QQ群,论坛互动交流区,全面为系统提供后备支持。 PhpSou垂直
搜索引擎
1.2 GBK 20111226 更新日志: 整合Sphinx,用户在后台即可选择是否使用sphinx 增加增量索引,数据可实时更新 修正
蜘蛛
反复抓取问题,增加随机抓取功能 请务删除安装文件中的phpsou.sql文件,请一并上传到空间,安装完成后可删除。 已经使用本
程序
的请注意:请在确保你原有数据备份的情况下,按照正常安装步骤重新安装一次本
程序
,
程序
不会删除你原有的数据,同时对于旧版本数据库中不存在的表将会在安装过程中自动添加。 安装方法:上传
程序
到web空间根目录,在浏览器里运行:url(你的网址) install.php 按照提示输入数据库账号密码 后台地址:url(你的网址) admin 后台账户:guigou 密码:120065
程序
常规操作: 1、安装过程中提示数据库不能打开,原因是你填写的数据库在数据库服务器中不存在,需要手动添加相应表,虚拟主机不存在这个问题。 2、修改logo等图片,请右键点击图片,查看图片在空间里的存储路径,再行修改。 3、首页修改,请修改跟目录index.php文件,然后登陆后台,生产首页。 4、首页下方“
程序
购买”修改,请打开include文件,找到global_sub_function.php打开修改。 5、搜索页相关修改,请
寻找
s文件夹里相关文件。
血腥大地-第三季(怪物模型制作)
介绍游戏中NPC的基本原理,并实现NCP类,支持NCP的随机行走,转向优化.完成各种怪物模型的制作(死亡动画,行走动画)1.僵尸人的制作2.
蜘蛛
1类的制作3.
蜘蛛
2类的制作4.
蜘蛛
Boss类的制作5.蜥蜴类的制作6.
蜘蛛
穴的制作
iis日志分析器 v1.0 绿色版
软件名称: 类别: 国产软件/免费软件/服务器区 大小: 90 KB 官网: http://www.cr173.com/s/iis/ 预览图: http://www.cr173.com/up/2010-11/20101130175815875970.jpg 下载地址: http://dx3.cr173.com//xl/iislogfile.zip 分析各
搜索引擎
蜘蛛
的访问数量,并能详细的按日期时段列出来供用户分析,让用户准确知道
搜索引擎
何时访问的最"勤快",从而"在对的时间做出对的事情"让用户的网站最 新的内容被
搜索引擎
蜘蛛
爬到! 亮点: 可以对
搜索引擎
蜘蛛
来访问进行时段统计, 对大日志文件的读取进行了优化,可以读 1G以上的日志文件。 软件使用说明: 1.点击">>"按钮,选择好存放日志文件的目录,
程序
会自动
寻找
(.log)文件; 2.点击"分析",如果成功,则最下面会显示进度提示,大文件稍会花些时间,100M大概5秒左右(取决CPU); 3.完成时,下方会提示"完成",双击随意一列,会跳转到此列对应的
搜索引擎
的详细界面; 4.
搜索引擎
详细信息,是全部日志加起来的访问数,再按照日期时段处理并显示; 例如:2个日志文件,第一个记录百度访问了100次,其中2010年1月1日14时访问50次,15时访问50次;第二个文件访问了200次,其中2010年1月1日16点访问100次,2010年1月2日 14点访问100次,则总共访问300次.显示为"2010年1月1日"这列中"14"、"15"、"16"对应行分别为50、50、100,"2010年1月2日"这列中"14"对应行显示100 最新版本的
程序
分在: http://www.cr173.com/s/iis/ 发布,也希望大家能给留言版上发布你的意见已备于我们改进。 iis日志格式说明: 1."控制面板"->"管理工具"->"Internet 信息服务",选择自己的网站,反键点击选择"属性";(例如:"默认网站") 2.在"属性"对话框中选择"网站"选项卡(基本上默认当前就是"网站"),如果"启用日志记录"未勾选,请勾选.在"活动日志格式"一栏选择"W3C 扩展日志文件格式",然后点击 旁边的"属性"按钮; 3.选择"扩展属性"选项卡,勾选"扩展属性"后方能勾选其他,请务必勾选"(c-ip)"、"(cs(User-Agent))"、"(date)"、"(time)",其他按需勾选,一路确定后会提示重启iis后 方生效; 该软件需要在Net 环镜下才能运行,请安装 .NET Framework V2.0 可再发行组件包: http://www.cr173.com/soft/2572.html
雪箭淘宝客主题CMS1.2
你还在
寻找
一款漂亮的淘宝客主题吗?那么看看这款雪箭淘宝客主题是否适合你吧! 雪箭淘宝客主题CMS1.2版是一款基于wordpess
程序
仿写并可以整合淘客帝国
程序
的主题,能够完美的整合到淘客帝国API
程序
,当然你也可以单独使用。 主题特色: 主题界面漂亮大气,用户体验良好,主题经过专门做过SEO标签优化。 主题集成了
搜索引擎
蜘蛛
到访记录,可以通过:http://www.XXX.txt (把XXX换成你的域名)这个链接查看
蜘蛛
是否来过你的网站, 这款主题的自动集成了图像的暗箱子效果,点击文章中的图像可以弹出浮动图像暗箱效果,自动适应你的屏幕! 主题可独立使用,后台可开启JS单页的调用,也可以整合到淘客帝国的API, 主题缺陷: 使用这款主题的朋友你需要有一定的WP标签认识,懂得如何修改文章调用ID,否则请你不要下载,这样会浪费你的时间的。 主题演示地址:http://www.tongjiaqian.com/ (此站的关键词排名非常好哟) 主题整合的APi演示:http://www.tongjiaqian.com/shop 本主题配合使用的robots.txt: http://www.tongjiaqian.com/robots.txt http://bbs.chinaz.com/thread-3391250-1-1.html
ASP
28,391
社区成员
357,060
社区内容
发帖
与我相关
我的任务
ASP
ASP即Active Server Pages,是Microsoft公司开发的服务器端脚本环境。
复制链接
扫一扫
分享
社区描述
ASP即Active Server Pages,是Microsoft公司开发的服务器端脚本环境。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章