社区
Web 开发
帖子详情
百度蜘蛛,谷歌机器人爬行网站的问题
冰女潮汐
2014-04-21 01:32:56
公司内部网站
自己做了统计分析
,
但是记录到了百度蜘蛛的爬行记录,导致pv量虚高.
现在想把百度蜘蛛爬行记录给过滤掉,就是蜘蛛爬行网站的时候不进行统计.现在已经通过ip过滤掉一部分,但是类似搜索网站的ip太多,跪求大神支招,蜘蛛爬行的request请求有么有什么特点可以代码过滤
...全文
143
3
打赏
收藏
百度蜘蛛,谷歌机器人爬行网站的问题
公司内部网站自己做了统计分析,但是记录到了百度蜘蛛的爬行记录,导致pv量虚高. 现在想把百度蜘蛛爬行记录给过滤掉,就是蜘蛛爬行网站的时候不进行统计.现在已经通过ip过滤掉一部分,但是类似搜索网站的ip太多,跪求大神支招,蜘蛛爬行的request请求有么有什么特点可以代码过滤
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
冰女潮汐
2014-04-22
打赏
举报
回复
.........帖子又陈了啊///
gogonow123
2014-04-22
打赏
举报
回复
同求,PV虚高,IP好低,愁死
冰女潮汐
2014-04-21
打赏
举报
回复
跪求大神帮助解决
站长工具源码 v2.0 PHP版.rar
站长工具功能简介1、JS加密/解密(将代码以js形式进行加密或解密。)2、UTF-8编码转换工具(UTF-8编码转换。)3、Unicode编码转换工具(Unicode编码转换。)4、友情链接(通过本工具可以批量查询指定
网站
的友情链接在
百度
的收录、
百度
快照、PR以及对方是否链接本站,可以识破骗链接。)5 、META信息检测(通过本工具可以快速检测网页的META标签,分析标题、关键词、描述等是否有利于搜索引擎收录。)6、MD5加密工具(对字符串进行MD5加密。)7 、sfz号码值查询(查询sfz所在地、性别及出生日期。)8、HTML/UBB代码转换工具(HTML/UBB代码转换。)9、HTML/JS互转工具(HTML/JS互转。)10 、搜索
蜘蛛
、
机器人
模拟工具(通过本工具可以快速模拟搜索引擎
蜘蛛
访问页面所抓取到的内容信息!)11、关键词密度检测(通过本工具可以快速检测页面关键词出现的数量和密度,更适合
蜘蛛
的搜索。)12、国家域名查看(查看所有国家的域名。)13、邮编区号查询(查询各地区的邮编及其区号,支持模糊查询。)14、域名Whois查询工具(Whois 简单来说,就是一个用来查询域名是否已经被注册,以及注册域名的详细信息的数据库(如域名所有人、域名注册商、域名注册日期和过期日期等)。通过域名Whois查询,可以查询域名归属者联系方式,以及注册和到期时间。)15、死链接检测/全站PR查询(通过本工具可以快速测试
网站
的死链接。死链接 - 也称无效链接,即那些不可达到的链接。一个
网站
存在死链接不是什么好事,首先一个
网站
如果存在大量的死链接,必将大大损伤
网站
的整体形象,再者搜索引擎
蜘蛛
是通过链接来
爬行
搜索,如果太多链接无法到达,不但收录页面数量会减少,而且你的
网站
在搜索引擎中的权重会大大降低。该查询可以遍历指定网页的所有链接,并分析每个链接的有效性,找出死链接。)16、搜索引擎收录查询(通过本工具可以快速查询各大搜索引擎对
网站
的收录数量!)17、搜索引擎反向链接(通过本工具可以快速查询各大搜索引擎对
网站
的反向连接数量!)18、查询手机号码归属地(查询手机号码的归属地及其手机号类型。)19、SEO综合查询(SEO综合查询。)20 、PR值查询(PR值全称为PageRank(网页级别),取自Google的创始人LarryPage。它是Google排名运算法则(排名公式)的一部分,是Google用于用来标识网页的等级/重要性的一种方法,是Google用来衡量一个
网站
的好坏的唯一标准。在揉合了诸如Title标识和Keywords标识等所有其它因素之后,Google通过PageRank来调整结果,使那些更具“等级/重要性”的网页在搜索结果中令
网站
排名获得提升,从而提高搜索结果的相关性和质量。)21、关键词排名查询(通过关键词排名查询,可以快速得到当前
网站
的关键字在Baidu/Google收录的排名情况!有些关键词在各地的排名是不一样的,就是通常说的关键字地区排名。比如:新闻、人才等很多。所以才提供多个地点的服务器提供大家查询。)22、IP查询(通过该工具可以查询指定IP的物理地址或域名服务器的IP和物理地址,及所在国家或城市,甚至精确到某个网吧,机房或学校等;查出的结果仅供参考!)23、Google收录查询(查询
谷歌
收录情况。)24、友情链接查询工具(通过本工具可以批量查询指定
网站
的友情链接在
百度
的收录、
百度
快照、PR以及对方是否链接本站,可以识破骗链接。)25、友情链接IP查询工具(通过本工具可以批量查询
网站
友情链接站点的IP地址、服务器物理地址,帮助站长清楚了解友情链接的服务器物理定位。)26、域名删除查询(.com .net .org等国际域名删除时间,通常在域名到期后的第65或75天,凌晨2点30左右会删除国内域名的删除时间,通常在域名到期后的第15或16天,凌晨4:30会删除友情提示:域名删除时间仅供参考,谢谢!)27、
百度
收录查询(本工具为站长提供指定时间内
百度
搜索对指定
网站
的收录情况,包括收录的网页数量和网页的具体情况,让您更好地掌握
百度
搜索对您的
网站
收录情况。)28、PR输出值查询(查询
网站
的PR输出值,PR输出值:带给友情链接的PR值。计算公式:(1 - 0.85) 0.85 * (PR值 / 外链数)。)29、查看网页源代码(通过本工具可以快速查找指定
网站
的页面源代码。)30、Unix时间戳(Unix timestamp)转换工具(什么是Unix时间戳(Unix timestamp): Unix时间戳(Unix timestamp),或称Unix时间(Unix time)、POSIX时间(POSIX time),是一种时间表示方式,定义为从格林威治时间1970年01月01日00时00分00秒起至现在的总秒数。Unix时间戳不仅被使用在Unix系统、类Unix系统中,也在许多其他操作系统中被广告采用。)
站长工具完整无错版 v2.6.rar
更新说明: 1、增加“JS/HTML格式化工具” 2、修正部分界面显示
问题
3、修正其它已知BUG 站长工具功能简介 1、JS加密/解密(将代码以js形式进行加密或解密。) 2、UTF-8编码转换工具(UTF-8编码转换。) 3、Unicode编码转换工具(Unicode编码转换。) 4、友情链接(通过本工具可以批量查询指定
网站
的友情链接在
百度
的收录、
百度
快照、PR以及对方是否链接本站,可以识破骗链接。) 5 、META信息检测(通过本工具可以快速检测网页的META标签,分析标题、关键词、描述等是否有利于搜索引擎收录。) 6、MD5加密工具(对字符串进行MD5加密。) 7 、sfz号码值查询(查询sfz所在地、性别及出生日期。) 8、HTML/UBB代码转换工具(HTML/UBB代码转换。) 9、HTML/JS互转工具(HTML/JS互转。) 10 、搜索
蜘蛛
、
机器人
模拟工具(通过本工具可以快速模拟搜索引擎
蜘蛛
访问页面所抓取到的内容信息!) 11、关键词密度检测(通过本工具可以快速检测页面关键词出现的数量和密度,更适合
蜘蛛
的搜索。) 12、国家域名查看(查看所有国家的域名。) 13、邮编区号查询(查询各地区的邮编及其区号,支持模糊查询。) 14、域名Whois查询工具(Whois 简单来说,就是一个用来查询域名是否已经被注册,以及注册域名的详细信息的数据库(如域名所有人、域名注册商、域名注册日期和过期日期等)。通过域名Whois查询,可以查询域名归属者联系方式,以及注册和到期时间。) 15、死链接检测/全站PR查询(通过本工具可以快速测试
网站
的死链接。死链接 - 也称无效链接,即那些不可达到的链接。一个
网站
存在死链接不是什么好事,首先一个
网站
如果存在大量的死链接,必将大大损伤
网站
的整体形象,再者搜索引擎
蜘蛛
是通过链接来
爬行
搜索,如果太多链接无法到达,不但收录页面数量会减少,而且你的
网站
在搜索引擎中的权重会大大降低。该查询可以遍历指定网页的所有链接,并分析每个链接的有效性,找出死链接。) 16、搜索引擎收录查询(通过本工具可以快速查询各大搜索引擎对
网站
的收录数量!) 17、搜索引擎反向链接(通过本工具可以快速查询各大搜索引擎对
网站
的反向连接数量!) 18、查询手机号码归属地(查询手机号码的归属地及其手机号类型。) 19、SEO综合查询(SEO综合查询。) 20 、PR值查询(PR值全称为PageRank(网页级别),取自Google的创始人LarryPage。它是Google排名运算法则(排名公式)的一部分,是Google用于用来标识网页的等级/重要性的一种方法,是Google用来衡量一个
网站
的好坏的唯一标准。在揉合了诸如Title标识和Keywords标识等所有其它因素之后,Google通过PageRank来调整结果,使那些更具“等级/重要性”的网页在搜索结果中令
网站
排名获得提升,从而提高搜索结果的相关性和质量。) 21、关键词排名查询(通过关键词排名查询,可以快速得到当前
网站
的关键字在Baidu/Google收录的排名情况!有些关键词在各地的排名是不一样的,就是通常说的关键字地区排名。比如:新闻、人才等很多。所以才提供多个地点的服务器提供大家查询。) 22、IP查询(通过该工具可以查询指定IP的物理地址或域名服务器的IP和物理地址,及所在国家或城市,甚至精确到某个网吧,机房或学校等;查出的结果仅供参考!) 23、Google收录查询(查询
谷歌
收录情况。) 24、友情链接查询工具(通过本工具可以批量查询指定
网站
的友情链接在
百度
的收录、
百度
快照、PR以及对方是否链接本站,可以识破骗链接。) 25、友情链接IP查询工具(通过本工具可以批量查询
网站
友情链接站点的IP地址、服务器物理地址,帮助站长清楚了解友情链接的服务器物理定位。) 26、域名删除查询(.com .net .org等国际域名删除时间,通常在域名到期后的第65或75天,凌晨2点30左右会删除国内域名的删除时间,通常在域名到期后的第15或16天,凌晨4:30会删除友情提示:域名删除时间仅供参考,谢谢!) 27、
百度
收录查询(本工具为站长提供指定时间内
百度
搜索对指定
网站
的收录情况,包括收录的网页数量和网页的具体情况,让您更好地掌握
百度
搜索对您的
网站
收录情况。) 28、PR输出值查询(查询
网站
的PR输出值,PR输出值:带给友情链接的PR值。计算公式:(1 - 0.85) 0.85 * (PR值 / 外链数)。) 29、查看网页源代码(通过本工具可以快速查找指定
网站
的页面源代码。) 30、Unix时间戳(Unix timestamp)转换工具(什么是Unix时间戳(Unix timestamp): Unix时间戳(Unix timestamp),或称Unix时间(Unix time)、POSIX时间(POSIX time),是一种时间表示方式,定义为从格林威治时间1970年01月01日00时00分00秒起至现在的总秒数。Unix时间戳不仅被使用在Unix系统、类Unix系统中,也在许多其他操作系统中被广告采用。) 31、JS/HTML格式化工具(此功能新增) 32.修复了页面假死
matlab零基础入门路径规划城市遍历
机器人
路径等
问题
matlab零基础入门路径规划城市遍历
机器人
路径等
问题
,通过编程实战掌握具体应用。包括matlab入门知识(包括变量类型、数据类型、单元数组、结构体、矩阵、高级编程技巧等)、路径规划方面的案例、城市遍历方面的案例、
机器人
路径方面的案例等。
z5站长工具 v2.0.rar
1、JS加密/解密(将代码以js形式进行加密或解密。) 2、UTF-8编码转换工具(UTF-8编码转换。) 3、Unicode编码转换工具(Unicode编码转换。) 4、友情链接(通过本工具可以批量查询指定
网站
的友情链接在
百度
的收录、
百度
快照、PR以及对方是否链接本站,可以识破骗链接。) 5 、META信息检测(通过本工具可以快速检测网页的META标签,分析标题、关键词、描述等是否有利于搜索引擎收录。) 6、MD5加密工具(对字符串进行MD5加密。) 7 、身份证号码值查询(查询身份证所在地、性别及出生日期。) 8、HTML/UBB代码转换工具(HTML/UBB代码转换。) 9、HTML/JS互转工具(HTML/JS互转。) 10 、搜索
蜘蛛
、
机器人
模拟工具(通过本工具可以快速模拟搜索引擎
蜘蛛
访问页面所抓取到的内容信息!) 11、关键词密度检测(通过本工具可以快速检测页面关键词出现的数量和密度,更适合
蜘蛛
的搜索。) 12、国家域名查看(查看所有国家的域名。) 13、邮编区号查询(查询各地区的邮编及其区号,支持模糊查询。) 14、域名Whois查询工具(Whois 简单来说,就是一个用来查询域名是否已经被注册,以及注册域名的详细信息的数据库(如域名所有人、域名注册商、域名注册日期和过期日期等)。通过域名Whois查询,可以查询域名归属者联系方式,以及注册和到期时间。) 15、死链接检测/全站PR查询(通过本工具可以快速测试
网站
的死链接。死链接 - 也称无效链接,即那些不可达到的链接。一个
网站
存在死链接不是什么好事,首先一个
网站
如果存在大量的死链接,必将大大损伤
网站
的整体形象,再者搜索引擎
蜘蛛
是通过链接来
爬行
搜索,如果太多链接无法到达,不但收录页面数量会减少,而且你的
网站
在搜索引擎中的权重会大大降低。该查询可以遍历指定网页的所有链接,并分析每个链接的有效性,找出死链接。) 16、搜索引擎收录查询(通过本工具可以快速查询各大搜索引擎对
网站
的收录数量!) 17、搜索引擎反向链接(通过本工具可以快速查询各大搜索引擎对
网站
的反向连接数量!) 18、查询手机号码归属地(查询手机号码的归属地及其手机号类型。) 19、SEO综合查询(SEO综合查询。) 20 、PR值查询(PR值全称为PageRank(网页级别),取自Google的创始人LarryPage。它是Google排名运算法则(排名公式)的一部分,是Google用于用来标识网页的等级/重要性的一种方法,是Google用来衡量一个
网站
的好坏的唯一标准。在揉合了诸如Title标识和Keywords标识等所有其它因素之后,Google通过PageRank来调整结果,使那些更具“等级/重要性”的网页在搜索结果中令
网站
排名获得提升,从而提高搜索结果的相关性和质量。) 21、关键词排名查询(通过关键词排名查询,可以快速得到当前
网站
的关键字在Baidu/Google收录的排名情况!有些关键词在各地的排名是不一样的,就是通常说的关键字地区排名。比如:新闻、人才等很多。所以才提供多个地点的服务器提供大家查询。) 22、IP查询(通过该工具可以查询指定IP的物理地址或域名服务器的IP和物理地址,及所在国家或城市,甚至精确到某个网吧,机房或学校等;查出的结果仅供参考!) 23、Google收录查询(查询
谷歌
收录情况。) 24、友情链接查询工具(通过本工具可以批量查询指定
网站
的友情链接在
百度
的收录、
百度
快照、PR以及对方是否链接本站,可以识破骗链接。) 25、友情链接IP查询工具(通过本工具可以批量查询
网站
友情链接站点的IP地址、服务器物理地址,帮助站长清楚了解友情链接的服务器物理定位。) 26、域名删除查询(.com .net .org等国际域名删除时间,通常在域名到期后的第65或75天,凌晨2点30左右会删除国内域名的删除时间,通常在域名到期后的第15或16天,凌晨4:30会删除友情提示:域名删除时间仅供参考,谢谢!) 27、
百度
收录查询(本工具为站长提供指定时间内
百度
搜索对指定
网站
的收录情况,包括收录的网页数量和网页的具体情况,让您更好地掌握
百度
搜索对您的
网站
收录情况。) 28、PR输出值查询(查询
网站
的PR输出值,PR输出值:带给友情链接的PR值。计算公式:(1 - 0.85) 0.85 * (PR值 / 外链数)。) 29、查看网页源代码(通过本工具可以快速查找指定
网站
的页面源代码。) 30、Unix时间戳(Unix timestamp)转换工具(什么是Unix时间戳(Unix timestamp): Unix时间戳(Unix timestamp),或称Unix时间(Unix time)、POSIX时间(POSIX time),是一种时间表示方式,定义为从格林威治时间1970年01月01日00时00分00秒起至现在的总秒数。Unix时间戳不仅被使用在Unix系统、类Unix系统中,也在许多其他操作系统中被广告采用。)
八桂大地便民查询工具 v1.0.rar
八桂大地便民查询工具 v1.0版本 演示地址:http://www.baguidadi.com/tool (此查询工具程序为免费开源,可任意传播,敬请注明出处) 【环境要求】 1. 支持环境:须支持HTML、PHP 2. 测试浏览器:腾讯TT浏览器 微软IE浏览器6.0 微软IE浏览器7.0 微软IE浏览器8.0 3. 系统分辨率:1024X768 【使用说明】 1.在支持HTML和PHP的服务器或主机空间上解压本软件包。 2.安装到任意目录,目录名称可自定义。 3.直接上传到空间即可,无需其它安装操作。 八桂大地站长工具功能简介: 1、JS加密/解密(将代码以js形式进行加密或解密。) 2、UTF-8编码转换工具(UTF-8编码转换。) 3、Unicode编码转换工具(Unicode编码转换。) 4、友情链接(通过本工具可以批量查询指定
网站
的友情链接在
百度
的收录、
百度
快照、PR以及对方是否链接本站,可以识破骗链接。) 5 、META信息检测(通过本工具可以快速检测网页的META标签,分析标题、关键词、描述等是否有利于搜索引擎收录。) 6、MD5加密工具(对字符串进行MD5加密。) 7 、sfz号码值查询(查询sfz所在地、性别及出生日期。) 8、HTML/UBB代码转换工具(HTML/UBB代码转换。) 9、HTML/JS互转工具(HTML/JS互转。) 10 、搜索
蜘蛛
、
机器人
模拟工具(通过本工具可以快速模拟搜索引擎
蜘蛛
访问页面所抓取到的内容信息!) 11、关键词密度检测(通过本工具可以快速检测页面关键词出现的数量和密度,更适合
蜘蛛
的搜索。) 12、国家域名查看(查看所有国家的域名。) 13、邮编区号查询(查询各地区的邮编及其区号,支持模糊查询。) 14、域名Whois查询工具(Whois 简单来说,就是一个用来查询域名是否已经被注册,以及注册域名的详细信息的数据库(如域名所有人、域名注册商、域名注册日期和过期日期等)。通过域名Whois查询,可以查询域名归属者联系方式,以及注册和到期时间。) 15、死链接检测/全站PR查询(通过本工具可以快速测试
网站
的死链接。死链接 - 也称无效链接,即那些不可达到的链接。一个
网站
存在死链接不是什么好事,首先一个
网站
如果存在大量的死链接,必将大大损伤
网站
的整体形象,再者搜索引擎
蜘蛛
是通过链接来
爬行
搜索,如果太多链接无法到达,不但收录页面数量会减少,而且你的
网站
在搜索引擎中的权重会大大降低。该查询可以遍历指定网页的所有链接,并分析每个链接的有效性,找出死链接。) 16、搜索引擎收录查询(通过本工具可以快速查询各大搜索引擎对
网站
的收录数量!) 17、搜索引擎反向链接(通过本工具可以快速查询各大搜索引擎对
网站
的反向连接数量!) 18、查询手机号码归属地(查询手机号码的归属地及其手机号类型。) 19、SEO综合查询(SEO综合查询。) 20 、PR值查询(PR值全称为PageRank(网页级别),取自Google的创始人LarryPage。它是Google排名运算法则(排名公式)的一部分,是Google用于用来标识网页的等级/重要性的一种方法,是Google用来衡量一个
网站
的好坏的唯一标准。在揉合了诸如Title标识和Keywords标识等所有其它因素之后,Google通过PageRank来调整结果,使那些更具“等级/重要性”的网页在搜索结果中令
网站
排名获得提升,从而提高搜索结果的相关性和质量。) 21、关键词排名查询(通过关键词排名查询,可以快速得到当前
网站
的关键字在Baidu/Google收录的排名情况!有些关键词在各地的排名是不一样的,就是通常说的关键字地区排名。比如:新闻、人才等很多。所以才提供多个地点的服务器提供大家查询。) 22、IP查询(通过该工具可以查询指定IP的物理地址或域名服务器的IP和物理地址,及所在国家或城市,甚至精确到某个网吧,机房或学校等;查出的结果仅供参考!) 23、Google收录查询(查询
谷歌
收录情况。) 24、友情链接查询工具(通过本工具可以批量查询指定
网站
的友情链接在
百度
的收录、
百度
快照、PR以及对方是否链接本站,可以识破骗链接。) 25、友情链接IP查询工具(通过本工具可以批量查询
网站
友情链接站点的IP地址、服务器物理地址,帮助站长清楚了解友情链接的服务器物理定位。) 26、域名删除查询(.com .net .org等国际域名删除时间,通常在域名到期后的第65或75天,凌晨2点30左右会删除国内域名的删除时间,通常在域名到期后的第15或16天,凌晨4:30会删除友情提示:域名删除时间仅供参考,谢谢!) 27、
百度
收录查询(本工具为站长提供指定时间内
百度
搜索对指定
网站
的收录情况,包括收录的网页数量和网页的具体情况,让您更好地掌握
百度
搜索对您的
网站
收录情况。) 28、PR输出值查询(查询
网站
的PR输出值,PR输出值:带给友情链接的PR值。计算公式:(1 - 0.85) 0.85 * (PR值 / 外链数)。) 29、查看网页源代码(通过本工具可以快速查找指定
网站
的页面源代码。) 30、Unix时间戳(Unix timestamp)转换工具(什么是Unix时间戳(Unix timestamp): Unix时间戳(Unix timestamp),或称Unix时间(Unix time)、POSIX时间(POSIX time),是一种时间表示方式,定义为从格林威治时间1970年01月01日00时00分00秒起至现在的总秒数。Unix时间戳不仅被使用在Unix系统、类Unix系统中,也在许多其他操作系统中被广告采用。) 31、JS/HTML格式化工具(此功能新增) 32.修复了页面假死 33.新增优化了广告AD位置
Web 开发
81,094
社区成员
341,711
社区内容
发帖
与我相关
我的任务
Web 开发
Java Web 开发
复制链接
扫一扫
分享
社区描述
Java Web 开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章