6067
社区成员
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
leo_s_man 2004-09-07
国内外一些大的搜索引擎正在搜索您的网站信息并进行引擎数据库的更新。
总的来说这不是坏事。并且没有办法屏蔽，
这些爬虫的搜索原理很精妙，不必刻意去拦截或者阻止它们的访问。
搜索一般分为两种，一种是定期搜索，即每隔一段时间（比如Google一般是28天），
搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，
一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。
另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，
它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，
扫描你的网站并将有关信息存入数据库，以备用户查询。
由于近年来搜索引擎索引规则发生了很大变化，
主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些
外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。
这个问题好像在哪里遇到过？
总的来说这不是坏事。并且没有办法屏蔽，
这些爬虫的搜索原理很精妙，不必刻意去拦截或者阻止它们的访问。
搜索一般分为两种，一种是定期搜索，即每隔一段时间（比如Google一般是28天），
搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，
一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。
另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，
它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，
扫描你的网站并将有关信息存入数据库，以备用户查询。
由于近年来搜索引擎索引规则发生了很大变化，
主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些
外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。
这个问题好像在哪里遇到过？
FPGA设计中，Vivado 调用IP核详细操作步骤 首先咱们来了解一下vivado的IP核，IP核（IP Core）：Vivado中有很多IP核可以直接使用，例如数学运算（乘法器、除法器、浮点运算器等）、信号处理（FFT、DFT、DDS等）。IP核类似编程中的函数库（例如C语言中的printf...
ubuntu使用教程 Ubuntu（乌班图）是一个基于Debian的以桌面应用为主的Linux操作系统，据说其名称来自非洲南部祖鲁语或科萨语的“ubuntu”一词，意思是“人性”、“我的存在是因为大家的存在”，是非洲传统的一种价值观。 Ubuntu的...
百度谷歌搜索引擎研究，如何做SEO优化？网站优化实操（程序员必看） 1.搜索引擎原理 1、基本概念 来源于中文wiki百科的解释：（网络）搜索引擎指自动从互联网搜集信息，经过一定整理以后，提供给用户进行查询的系统。 来源于英文wiki百科的解释：Web search engines providean ...
20120最新Web前端经典面试试题及答案-史上最全前端面试题汇总(含答案) 前端面试题： 1.一个200*200的div在不同分辨率屏幕上下左右居中，用css实现 div { position:absolute; width:200px; height:200px; top:50%;...2.写一个左中右布局占满屏幕，其中左右两块是固定宽度2...
Linux实用教程(第三版) 第四章 目录和文件管理 4.1 Linux文件类型 Linux目录结构 文件和目录操作 4.4链接文件 第五章 Linux常用操作命令 5.1 文本内容显示 5.2 文件内容的处理 5.3 文件和命令查找 5.4系统信息显示 5.5日期和时间 5.6 信息...
计算机专业大学生应该在大学四年踏实学哪些东西？ 刚上大学我就像个憨批，每天在各种社团之间游走。整个大一都没有怎么研究编程，导致我到大二的时候，还不知道 Github，甚至不了解什么是 Linux。大二之后，因为加入了学校的一个还挺不错的技术组织，跟着一些已经...
关于搜索引擎原理的详细解读 搜索引擎，通常指的是收集了万维网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为...
RACV2019观点集锦 | 视觉的层次化处理过时了吗？ 本文得到CCF-CV专委会授权发布，公众号【CCF-CV计算机视觉专委会】原标题：RACV2019观点集锦 | 视觉的层次化处理过时了吗？引言计算机视觉是人工智能的“眼睛”，是感知客观世...
中文情感分析 (Sentiment Analysis) 的难点在哪？现在做得比较好的有哪几家？ 公众号关注 “ML_NLP” 设为 “星标”，重磅干货，第一...编辑: 深度学习自然语言处理公众号 地址: https://www.zhihu.com/question/20700012 本文仅作学术分享，若侵权，请联系后台删文处理 作者：知乎用户 链接： ...
TCP/IP 三次握手超详细总结 而LAN（局域网）中常用的协议有IPX/SPX”等。 下面通过通俗一点的方式来解释一下协议： 有三个人A、B、C。A只会说汉语、B只会说英语、而C既会说汉语又会说英语。现在A与B要聊天，他们之间该如何沟通呢？若A与C要聊天...
程序员简历应该怎么写？ 说到程序员简历，这两个月，我看过不下10,000份简历。。。 答主不是HR，也不是技术负责人，但是在网站的运营工作中，每天最开心的事情就是研究候选人的简历了~~ 这些人中，有BAT的资深大牛程序员，也有90后程序员小...
[网络安全自学篇] 九.社会工程学之基础概念、IP获取、IP物理定位、文件属性 这是作者的系列网络安全自学教程，主要是关于网安工具和实践操作的在线笔记，特分享出来与博友共勉，希望您们喜欢，一起进步。上一篇文章分享了Web漏洞及端口扫描之Nmap、ThreatScan和DirBuster工具；本篇文章将介绍...
搜索中的深度匹配模型 全文约45,000字，主要包括： ❶ 搜索引擎概述，介绍匹配模型在搜索中的本质体现 ❷ 在深度学习之前，搜索中常用的传统匹配模型 ❸ 搜索中的语义匹配模型： 基于representation的深度匹配模型 基于match function ...
应用消息队列设计可以解决哪些实际问题？ 消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，...
新生搜索神器Microsoft Academic Search与Google scholar、PubMed、wos、embase大PK！ 新生搜索神器Microsoft Academic Search 与Google scholar PubMed wos embase PK！
对不起，学会这些 Linux 知识后，我有点飘 UNIX 是一个交互式系统，用于同时处理多进程和多用户同时在线。为什么要说 UNIX，那是因为 Linux 是由 UNIX 发展而来的，UNIX 是由程序员设计，它的主要服务对象也是程序员。Linux 继承了 UNIX 的设计目标。从智能...
「3D视觉技术交流群」精华帖与关键问题 原文首发于微信公众号3D视觉工坊： 「3D视觉技术交流群」精华帖与关键问题 本文主要总结了「3D视觉技术交流群」自建立以来，星球内共发布与交流过的技术帖及关键问题，以便大家回顾温习。 一 星球主题，主要包括： ...
