超多IP访问/robots.txt

u012914916 2014-10-17 05:22:11

apache日志里全是这样的记录，全是访问的/robots.txt，而且十多分钟就有几万行。服务器CPU经常跑到100%。
蜘蛛也不会爬robots.txt这么频繁吧。。。大神帮分析下

66.249.65.147 - - [17/Oct/2014:10:14:38 +0100] "GET /robots.txt HTTP/1.1" 200 -
（-是因为我在网站根目录下创建了个空白的robots.txt。）

...全文

414 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

晓敬 2014-10-20

打赏
举报

回复

robots.txt这个东西只要你编程谨慎没必要放上，放上了是个累赘，分析一下他的坏处，欢迎拍砖： 1、如果你没有将后台的地址在前台页面上调用过的话，蜘蛛是不会爬取的，对于css,js这种东西，蜘蛛也不愿意爬。 2、很多新手在设置robots.txt的时候都是很乖很听话，敏感地址放上来屏蔽蜘蛛爬取，其实只要严格，蜘蛛爬不到，但是别有用心的人会先看robots.txt一下就找到了管理入口地址。 3、不管哪个蜘蛛跑过来第一个爬的就是robot.txt,占用了一点资源你这种情况应该不是robots.txt的原因，这个文件应该是直接发出去的，到不了100%的情况

傲雪星枫 2014-10-18

打赏
举报

回复

比较奇怪，你确定cpu被占100%是这个问题？把robots.txt屏蔽看看。

爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。爬虫的工作流程包括以下几个关键步骤： URL收集：爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。请求网页：爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。解析内容：爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。数据存储：爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。遵守规则：为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。反爬虫应对：由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。

关于这本书..............................................................................................................................................1 第一章搜索引擎基础............................................................................................................................2 第一节什么是搜索引擎....................................................................................................................2 一、搜索引擎的作用......................................................................................................................2 二、搜索引擎的定义......................................................................................................................4 第二节搜索引擎的基本工作原理.....................................................................................................4 一、抓取..........................................................................................................................................5 二、索引..........................................................................................................................................5 三、排序..........................................................................................................................................5 第三节搜索引擎的分类....................................................................................................................6 一、网页级搜索..............................................................................................................................6 二、垂直搜索..................................................................................................................................6 三、元搜索引擎..............................................................................................................................6 四、目录搜索..................................................................................................................................6 五、集成搜索...................................................................................

1. 王婆卖瓜，自卖自夸----介绍我们课程的优势： l 编程语言学习，如果想要学习到核心的技术知识，就应该从原生的代码开始写，先不要去尝试熟悉框架。l 核心技术掌握在自己的手上----原生代码写的好处：发挥自己的想象力，创造出一套属于你自己的系统或软件。因为任何框架，它的规则已经定好了，他已经给你订画好了圈圈，圈圈太多，就会限制你的想象力。l 就好像幼儿园的小朋友，你告诉他，苹果是红色的，就限制了他的想象力。从此他不知道苹果可以有彩虹般的多色多彩，你告诉他写O是画一个圈圈，从此他知道圈圈读O，他不会再想象圈圈可以是太阳，也可以是月亮，还可以是星星2. 富群兴SEO站群系统功能介绍如下： l 完全独立自主开发的CMS管理系统l 全站生成全静态页面l 类似dedeCMS、帝国CMS的模板管理功能l 不限数量的子域名站点l 栏目页编辑功能l 文章发布功能l 站点发布功能l 支持数据批量操作（如批量导入、删除等）l robots页面生成l Sitemap网站地图功能l 文章批量伪原创功能3. 通过本系统实战练习，学员将学习到的知识(1) 站群系统开发能力：开发58同城、黄页88等站群管理系统都不是梦！(2) PHP从浅入深的实战应用① 会员管理系统开发② 留言管理系统开发③ 企业网站后台管理系统开发(3) MYSQL由浅入深的实战应用① 数据库设计讲解② 增删改查SQL语句高级应用技巧(4) 企业SEO网站上线部署实战应用① 华为云服务器LINUX环境部署② 域名解析

目录关于这本书.............................................................................................................................................1 第一章搜索引擎基础............................................................................................................................2 第一节什么是搜索引擎....................................................................................................................2 一、搜索引擎的作用......................................................................................................................2 二、搜索引擎的定义......................................................................................................................4 第二节搜索引擎的基本工作原理.....................................................................................................4 一、抓取.........................................................................................................................................5 二、索引.........................................................................................................................................5 三、排序.........................................................................................................................................5 第三节搜索引擎的分类....................................................................................................................6 一、网页级搜索..............................................................................................................................6 二、垂直搜索.................................................................................................................................6 三、元搜索引擎..............................................................................................................................6 四、目录搜索.................................................................................................................................6 五、集成搜索.................................................................................................................................7 第四节搜索引擎的未来....................................................................................................................7 一、快速化.....................................................................................................................................7 二、多样化.....................................................................................................................................7 三、智能化.....................................................................................................................................7 四、社会化.....................................................................................................................................7 五、个性化.....................................................................................................................................8 第五节主要搜索引擎介绍................................................................................................................8 一、Google.....................................................................................................................................8 二、Yahoo....................................................................................................................................12 三、百度.......................................................................................................................................13 四、搜狗.......................................................................................................................................15 五、中文搜索引擎列表................................................................................................................16 第二章搜索引擎营销基础..................................................................................................................17 第一节什么是搜索引擎营销..........................................................................................................17 一、搜索引擎营销的定义............................................................................................................17 二、搜索引擎营销的价值............................................................................................................17 三、搜索引擎营销原理................................................................................................................18 第二节搜索引擎营销的特点..........................................................................................................19 一、广泛使用...............................................................................................................................19 二、用户主动查询，针对性强....................................................................................................19 三、获取新客户............................................................................................................................19 四、竞争性强...............................................................................................................................20 第 1 页搜索引擎优化魔法书 SEO Magic Book 浩维互动免费电子书 www.timev.net 五、动态更新，随时调整............................................................................................................20 六、门槛低，投资回报率高........................................................................................................20 第三节搜索引擎营销的目标..........................................................................................................21 一、被收录...................................................................................................................................21 二、排名靠前...............................................................................................................................21 三、被点击...................................................................................................................................21 四、客户转化...............................................................................................................................21 五、提高品牌知名度....................................................................................................................21 第四节搜索引擎营销的形式..........................................................................................................22 一、搜索引擎登录........................................................................................................................22 二、固定排名和广告....................................................................................................................23 三、按效果付费排名....................................................................................................................24 四、自然排名...............................................................................................................................24 第三章搜索引擎优化基础..................................................................................................................25 第一节为什么要搜索引擎优化.......................................................................................................25 一、搜索引擎优化的定义............................................................................................................25 二、搜索引擎优化的价值............................................................................................................25 三、SEO和SEM的关系...............................................................................................................26 四、SEO和付费排名的关系........................................................................................................26 第二节搜索引擎对SEO的态度.......................................................................................................27 一、Google...................................................................................................................................27 二、Yahoo....................................................................................................................................29 三、百度.......................................................................................................................................30 四、搜狗.......................................................................................................................................34 第三节白帽SEO和黑帽SEO...........................................................................................................37 第四节搜索引擎优化的发展..........................................................................................................39 一、SEO的发展历史....................................................................................................................39 二、SEO在中国............................................................................................................................40 三、SEO的发展方向....................................................................................................................42 第五节关于搜索引擎优化的一些观点...........................................................................................43 一、搜索引擎优化合法吗？........................................................................................................43 二、会不会和搜索引擎对着干？................................................................................................43 三、搜索引擎是否会人工干预？................................................................................................44 四、我的网站有大量的优质原创内容，所以我不需要SEO了。............................................44 五、SEO没有技术含量或SEO需要很高深的技术....................................................................44 六、大网站那样做了，我也向他们学习....................................................................................44 七、SEO企业或SEO工具的保证排名宣传................................................................................44 八、稳定的排名............................................................................................................................45 九、SEO的目标就是获得排名第一的位置或尽可能多的访问量............................................45 十、竞争对手无法破坏我的排名................................................................................................45 第四章 SEO相关的搜索引擎技术......................................................................................................46 第 2 页搜索引擎优化魔法书 SEO Magic Book 浩维互动免费电子书 www.timev.net 第一节搜索引擎机器人..................................................................................................................46 一、什么是搜索引擎机器人？....................................................................................................46 二、如何辨别搜索引擎机器人身份............................................................................................47 第二节超链分析..............................................................................................................................47 一、基本原理...............................................................................................................................48 二、工作步骤...............................................................................................................................48 三、搜索效果...............................................................................................................................49 四、超链分析技术的应用............................................................................................................49 五、存在的缺陷............................................................................................................................50 第三节中文分词..............................................................................................................................50 一、什么是中文分词?..................................................................................................................50 二、中文分词的意义和作用........................................................................................................50 三、中文分词技术........................................................................................................................51 四、分词中的难题........................................................................................................................53 五、中文分词的应用....................................................................................................................53 六、中文搜索引擎技术................................................................................................................54 第四节基于词意的文本分析..........................................................................................................55 一、文本分析技术特点................................................................................................................55 二、文本分析应用........................................................................................................................55 第五章了解网站的搜索引擎表现......................................................................................................57 第一节基础查询..............................................................................................................................57 一、域名信息查询........................................................................................................................57 二、域名历史查询........................................................................................................................57 三、主机连接速度和IP地址查询................................................................................................57 四、同IP网站查询........................................................................................................................57 第二节收录查询..............................................................................................................................58 一、是否被收录............................................................................................................................58 二、网页收录数量........................................................................................................................58 第三节反向链接查询......................................................................................................................59 第四节网页RANK查询.....................................................................................................................59 一、Google PageRank查询........................................................................................................59 二、Sogou Rank查询..................................................................................................................59 第五节关键词排名查询..................................................................................................................59 第六节 ALEXA查询.........................................................................................................................60 一、什么是Alexa？......................................................................................................................60 二、Alexa主要数据......................................................................................................................60 三、用Alexa查什么？..................................................................................................................60 第六章基于搜索引擎友好的网站设计..............................................................................................62 第一节域名策略..............................................................................................................................62 一、不同后缀的域名在搜索引擎中的权重................................................................................62 二、域名基本常识........................................................................................................................62 第 3 页搜索引擎优化魔法书 SEO Magic Book 浩维互动免费电子书 www.timev.net 三、域名的关键词策略................................................................................................................69 四、中文站点的域名的拼音策略................................................................................................70 五、谨防注册一个遭受搜索引擎惩罚过的域名........................................................................70 第二节空间策略..............................................................................................................................71 一、安全元素一：稳定性............................................................................................................71 二、安全元素二：良好的共处环境............................................................................................71 三、本节附录...............................................................................................................................72 第三节网站结构规划......................................................................................................................72 第四节站点导航设计......................................................................................................................73 第五节 IFRAME、JAVASCRIPT和AJAX..........................................................................................73 一、IFRAME..............................................................................................................................74 二、JS..........................................................................................................................................74 三、AJAX....................................................................................................................................74 第六节 URL设计..............................................................................................................................75 一、便于用户记忆........................................................................................................................75 二、URL静态化...........................................................................................................................75 三、URL的关键词部署...............................................................................................................78 第七节网页代码的编写..................................................................................................................80 一、遵循WEB标准......................................................................................................................80 二、代码的逻辑性........................................................................................................................80 第八节面向搜索引擎的文案写作指导...........................................................................................81 一、网页标题Title........................................................................................................................81 二、Meta元标签...........................................................................................................................84 三、图片ALT替换文本................................................................................................................85 四、Robots.txt............................................................................................................................85 五、链接锚文本............................................................................................................................89 六、Sitemap.xml.........................................................................................................................89 七、版权与隐私............................................................................................................................97 第九节用户友好性检测..................................................................................................................97 一、链接的可用性........................................................................................................................97 二、访问速度体验........................................................................................................................97 三、查找信息的便捷度................................................................................................................98 第七章创建搜索引擎喜欢的内容......................................................................................................99 第一节搜索引擎喜欢什么内容.......................................................................................................99 一、Google对网站内容的说明：................................................................................................99 二、百度对网站内容的说明：....................................................................................................99 第二节内容的四大来源..................................................................................................................99 一、自己撰写原创文章................................................................................................................99 二、使用他人的内容..................................................................................................................100 第三节常见问题............................................................................................................................102 一、网站内容的更新..................................................................................................................102 二、内容匮乏怎么办..................................................................................................................103 第 4 页搜索引擎优化魔法书 SEO Magic Book 浩维互动免费电子书 www.timev.net 三、采集系统..............................................................................................................................104 四、商城程序的内容问题..........................................................................................................105 第八章提交你的网站........................................................................................................................106 第一节向搜索引擎提交网站........................................................................................................106 一、常用搜索引擎登录入口......................................................................................................106 二、提交注意事项......................................................................................................................106 三、登录搜索引擎的最佳办法..................................................................................................106 第二节登录分类目录站................................................................................................................107 第三节登录网址导航站................................................................................................................108 第四节登录垂直行业门户............................................................................................................109 第九章链接策略（一）....................................................................................................................111 第一节链接的基本知识................................................................................................................111 第二节为什么链接很重要............................................................................................................111 一、超链分析技术......................................................................................................................111 二、网页级别..............................................................................................................................111 三、网站的更新频率..................................................................................................................112 四、内容的相关性......................................................................................................................113 第三节网站内部页面的链接策略.................................................................................................113 一、给重要的网页更多的关注..................................................................................................113 二、相关链接（人工和自动）和频道关联..............................................................................114 三、链接的导出..........................................................................................................................114 第十章链接策略（二）....................................................................................................................115 第一节登录开放目录DMOZ.........................................................................................................115 一、为什么登录DMOZ如此重要.............................................................................................115 二、DMOZ开放目录登录实战攻略.........................................................................................115 三、一些对你有帮助的建议......................................................................................................116 第二节交换链接............................................................................................................................116 第三节购买链接............................................................................................................................117 第四节链接诱饵............................................................................................................................118 一、如何制造链接诱饵..............................................................................................................118 二、对链接诱饵应如何看待......................................................................................................118 第五节外链建设中的几个误区.....................................................................................................119 一、外部链接数目增长的自然化..............................................................................................119 二、不要忘记你最能做好的事情..............................................................................................119 三、不宜使用软件群发..............................................................................................................120 第十一章数据监测和分析................................................................................................................121 第一节网站流量数据统计与分析.................................................................................................121 一、什么叫网站流量及网站流量统计分析..............................................................................121 二、网站流量指标......................................................................................................................121 第 5 页搜索引擎优化魔法书 SEO Magic Book 浩维互动免费电子书 www.timev.net 三、用户行为指标......................................................................................................................123 四、用户浏览网站的方式..........................................................................................................126 第二节中文常见流量统计系统介绍.............................................................................................126 一、51.la统计服务.....................................................................................................................126 二、网站管理员统计..................................................................................................................126 三、ItSun统计............................................................................................................................126 四、51Yes网站流量统计............................................................................................................126 五、武林榜、太极链..................................................................................................................126 六、一统天下统计服务..............................................................................................................127 七、趋势流量分析系统..............................................................................................................127 八、Google Analytics................................................................................................................127 九、Measure Map.....................................................................................................................127 十、Statcounter.com.................................................................................................................127 第三节流量统计分析实例............................................................................................................128 一、典型性数据采集抓取..........................................................................................................128 二、IP与PV...............................................................................................................................128 三、网页访问入口分析..............................................................................................................130 四、搜索引擎流量导入..............................................................................................................131 五、搜索引擎关键词分析..........................................................................................................132 第四节行业热点跟踪....................................................................................................................133 一、Yahoo风向标：...................................................................................................................133 二、百度风云榜：......................................................................................................................133 三、百度指数..............................................................................................................................134 第十二章高端技巧............................................................................................................................137 第一节搜索行为分析....................................................................................................................137 一、什么是搜索行为分析..........................................................................................................137 二、为什么要进行用户搜索行为分析......................................................................................137 三、用户搜索行为的几个特点..................................................................................................137 四、搜索行为分析的重点对象..................................................................................................138 五、搜索行为变化情况..............................................................................................................138 六、用户的关键词搜索行为......................................................................................................140 第二节关键词分析........................................................................................................................143 一、什么是关键词......................................................................................................................143 二、如何挑选正确的关键词......................................................................................................143 三、竞价关键词的选择..............................................................................................................147 四、关键词竞争程度分析..........................................................................................................148 五、关键词查询工具..................................................................................................................153 第三节关键词密度........................................................................................................................153 一、什么是关键词密度..............................................................................................................153 二、正确理解关键词密度..........................................................................................................153 三、适当的关键词密度..............................................................................................................153 四、关键词位置和形式..............................................................................................................154 第 6 页搜索引擎优化魔法书 SEO Magic Book 浩维互动免费电子书 www.timev.net 五、Google 和Yahoo的区别.....................................................................................................156 六、关键词密度的基本原则......................................................................................................156 七、如何增加关键词密度..........................................................................................................157 八、关键词密度工具..................................................................................................................158 第四节信息干扰现象....................................................................................................................158 一、信噪比与干扰信息..............................................................................................................158 二、信息干扰的副作用..............................................................................................................158 三、如何减小信息干扰..............................................................................................................158 第五节重定向...............................................................................................................................159 一、什么是重定向......................................................................................................................159 二、301重定向...........................................................................................................................159 三、302重定向...........................................................................................................................161 四、404重定向...........................................................................................................................162 五、其他重定向..........................................................................................................................164 第六节垂直搜索引擎优化概览（图片搜索、移动搜索等）.....................................................165 一、图片搜索..............................................................................................................................165 二、Flash...................................................................................................................................167 三、视频搜索..............................................................................................................................167 四、避免搜索中的搜索..............................................................................................................168 第十三章几个重要的问题................................................................................................................169 第一节搜索引擎排名作弊............................................................................................................169 一、什么是搜索引擎作弊？......................................................................................................169 二、搜索引擎排名作弊的常见形式..........................................................................................169 三、常见的作弊载体..................................................................................................................171 第二节搜索引擎的反作弊............................................................................................................172 一、为什么搜索引擎要反作弊..................................................................................................172 二、搜索引擎对待SEO与作弊的态度......................................................................................172 三、主要搜索引擎反作弊的一些规定......................................................................................173 四、搜索引擎惩罚站点事件举例..............................................................................................175 第三节搜索引擎惩罚和解除........................................................................................................176 一、搜索引擎惩罚的方式..........................................................................................................176 二、站点被惩罚后的影响..........................................................................................................176 三、如何投诉作弊......................................................................................................................177 四、你的站点是否被惩罚？......................................................................................................177 五、搜索引擎作弊惩罚解除流程..............................................................................................178 第四节搜索引擎反作弊任重道远.................................................................................................178 一、搜索垃圾永不会消失..........................................................................................................178 二、搜索引擎反作弊的历程......................................................................................................179 三、石头记录的2005年SEO作弊状况....................................................................................180 四、曾经的作弊有多疯狂..........................................................................................................182 五、SEO的职业道德..................................................................................................................186 六、搜索引擎反作弊的人性化..................................................................................................189 第 7 页搜索引擎优化魔法书 SEO Magic Book 浩维互动免费电子书 www.timev.net 七、搜索引擎反作弊的法律支持..............................................................................................190 第十四章附录...................................................................................................................................191 第一节搜索引擎发展史................................................................................................................191 一、搜索引擎编年史：全球......................................................................................................191 二、搜索引擎编年史：中国......................................................................................................197 第二节搜索引擎行业八卦............................................................................................................200 一、中国SEO市场概况..............................................................................................................200 二、杨致远为Yahoo做优化.......................................................................................................201 三、SEO大赛..............................................................................................................................201 第三节 SEO工具介绍.....................................................................................................................202 一、SEO工具软件种类..............................................................................................................202 二、Google Sitemaps................................................................................................................206 三、通过sitemaps分析死链.......................................................................................................206 第四节 GOOGLE的几个著名现象...................................................................................................207 一、Google Trust Rank...........................................................................................................207 二、Google Sandbox.................................................................................................................208 三、Google Dance.....................................................................................................................210 四、Sitelinks..............................................................................................................................211 五、补充材料..............................................................................................................................213 第 8

爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。爬虫的工作流程包括以下几个关键步骤： URL收集：爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。请求网页：爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。解析内容：爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。数据存储：爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。遵守规则：为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。反爬虫应对：由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。

20,359

社区成员

19,658

社区内容

发帖

与我相关

我的任务

phpphpstorm 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章