怎样防止别人的程序自动抓取我的网页

[wutingting_123456789]

很多CMS 比如iNews CMSWare之类的东西可以自动抓取别人的网页
一般都使用正则表达式分析我的网页代码
怎么才能有效的防止这种东西呢
插入干扰代码？但是不知道加地方 加在什么地方合适 会不会对自己的编辑也产生影响
共同探讨

[jstones]

不管你做的多么好,那也是html或者javascript之类的显示的。
没办法!
放弃吧！

[yunfeifan]

直接修改apache的配置利用ip useragent 和referer等技术
但是像彻底防止，不太容易。

[GaoXX]

回复人： jstones(jonny) ( ) 信誉：100 2005-10-14 14:45:00 得分: 0


不管你做的多么好,那也是html或者javascript之类的显示的。
没办法!
放弃吧！
===================

肯定最后都可以看到 这是协议先天的 没有办法
但那是“你”可以看到
机器人只会重复简单的有规律的事情


回复人： yunfeifan(云飞凡) ( ) 信誉：94 2005-10-14 14:57:00 得分: 0


直接修改apache的配置利用ip useragent 和referer等技术
但是像彻底防止，不太容易。
============
确实 远程打开的一般都没有发送user-agent

[ppq886]

没有什么好的办法吧，如果用apache骗骗简单的人还行，不过抓网页的人都比较专业，所以好像很难

[-神仙-]

用session。

[chinatino]

有好办法，你可以用GD，把文章都写到图片上

[iisbsd]

可以做到的，大的网站像Yahoo，google，ebay都有这个功能。

我不能多说了。:D

[Gdj]

Yahoo google ebay我都抓了。你重新列几个吧。

[yunfeifan]

to GaoXX(我即老高，老高即我)

远程抓取也可以伪造useragent ,这样的事情只要不是太出格就完了，如果太出格就封ip吧

也可以考虑js，把部分代码隐藏，不过都是对一些不太懂得人。

[iisbsd]

我不知道了。

你抓eBay的商品目录了么？或者猜雅虎用户的密码？或者抓google所有的搜索结果？

[myspsp]

一直想不明白该怎么抓取网页里面特定的信息！

该怎么处理！

哪位朋友可否提点一下！

[Gdj]

抓商品目录搜索结果的什么可以。不知道你抓别人的密码是什么原理？雅虎有把别人的密码公布出来的习惯？

[myspsp]

抓别人网页上面的文本是什么样的一个技术来着？
原理该是怎样啊？

[黑夜路人]

抓网页的技术叫做网络蜘蛛

就是由于机器人(Bot)通过自动程序,一直抓取网页, 有深度搜索和广度搜索, 抓取后保存在cache中,然后其他程序来分析文件,提取有用信息保存起来.

[Gdj]

嗯。web上的东西只要眼睛能看到的就100%能抓。多加些限制，只是难度不同罢了。连图片都不保险，一些图片识别软件还不到1M。所以现在的识别码图片都做得严重变形，差点眼睛都认不出来了。

[poolnet]

防不胜防，对输出代码进行随机的大小写变换估计能够搞定一部分程序

[Gdj]

现在流行的是变形滤镜配合汉字识别码了。

[lzkd]

你抓eBay的商品目录了么？或者猜雅虎用户的密码？或者抓google所有的搜索结果？


*********************

别的不知道---或者抓google所有的搜索结果？---这个我公司有个达人做到的.用什么写的,没问.