实在想不出来更好的办法，请大家帮忙

lovewangya 2009-11-21 02:55:05
我现在想实现的功能就是用ajax+php判断一个列表页面例如list.php有没有更新（即有没有新的链接出现）

我目前用的办法是用php的curl请求这个列表页面，只返回header部分不返回body， 如果返回的header当中的：Content-Length

的长度和上一次的不一样，再请教一次并返回body,用正则来检查是否有新的链接出现。

不知道有没有比这更快的方法。？
...全文
128 12 打赏 收藏 转发到动态 举报
写回复
用AI写文章
12 条回复
切换为时间正序
请发表友善的回复…
发表回复
床上等您 2009-11-23
  • 打赏
  • 举报
 回复
学习中。。。。。。
do_fork 2009-11-22
  • 打赏
  • 举报
 回复
[Quote=引用 10 楼 bookmoth 的回复:]
引用 6 楼 do_fork 的回复:
range跟head一样，可以被server忽略掉，实际上www.baidu.com两者都忽略。

如果range被接受了，返回的状态码是206，而不是200

head也会被忽略是吗？
[/Quote]

静态文件，如xxx.jpeg时，一般不会忽略，普通页或者动态页，可能会被当作GET解释。
telnet www.baidu.com 80
HEAD / HTTP/1.1，返回整个页面，并且等待下一个命令
HEAD / HTTP/1.0，返回整个页面，并且立即关闭socket
bookmoth 2009-11-22
  • 打赏
  • 举报
 回复
[Quote=引用 6 楼 do_fork 的回复:]
range跟head一样，可以被server忽略掉，实际上www.baidu.com两者都忽略。

如果range被接受了，返回的状态码是206，而不是200
[/Quote]
head也会被忽略是吗？
bookmoth 2009-11-22
  • 打赏
  • 举报
 回复
服务器就不是分着发的，你有什么理由让服务器只发头呢？只能丢掉body，第二次你在丢掉head。这是何苦呢。
zz19900502 2009-11-21
  • 打赏
  • 举报
 回复
我都看不懂
cyr11 2009-11-21
  • 打赏
  • 举报
 回复
高手是不一样！
过来学习一下！
do_fork 2009-11-21
  • 打赏
  • 举报
 回复
range跟head一样，可以被server忽略掉，实际上www.baidu.com两者都忽略。

如果range被接受了，返回的状态码是206，而不是200
do_fork 2009-11-21
  • 打赏
  • 举报
 回复
注意看wireshark抓来的包，并没有只读取头部
do_fork 2009-11-21
  • 打赏
  • 举报
 回复
这段代码我试过了
<?php

function getFileSize($url){

    $url = parse_url($url);

    if($fp = @fsockopen($url['host'],empty($url['port'])?80:$url['port'],$error)){

        fputs($fp,"GET ".(empty($url['path'])?'/':$url['path'])." HTTP/1.1\r\n");

        fputs($fp,"Host:$url[host]\r\n\r\n");

        while(!feof($fp)){

            $tmp = fgets($fp);

            if(trim($tmp) == ''){

                break;

            }else if(preg_match('/(Content-Length.*)/si',$tmp,$arr)){

                return trim($arr[1]);

            }   

        }   

        return null;

    }else{

        return null;

    }   

}

echo getFileSize("http://www.baidu.com/")

?>



可是wireshark抓包告诉我，它并没有起作用，实际上还是照单全收了，
TCP通信是存在一个window的，只有window满了，对方才会停止发包，
通常单个page的大小都很有限，只有几K，而window超过这个大小，
所以即使你自己写socket，读到length就立即关闭socket，但是很遗憾，
在你关闭socket之前，数据已经到达你的主机，不论你是否真的需要这部分数据。

对于若干兆字节的url，这个方式有效，但是对于只有几K的url，没有用的，
读取到header之外的东西不可避免，支持HEAD的web站点并不多。

你可以用tcpdump或者wireshark抓包看看，是不是只读取了headers。


此外，keepalive也是个问题，在读取到一定字节后就关闭socket，
会造成keepalive失效，导致每次向同一IP发送http请求时都必须重新建立socket连接，
这个开销是很大的。


如果很在意节省带宽，不太在意效率，可以考虑用C写一个扩展，
用setsockopt设置TCP窗口大小为一个较小的数值

wireshark抓来的数据
GET / HTTP/1.1





Host:www.baidu.com









HTTP/1.1 200 OK



Date: Sat, 21 Nov 2009 09:17:58 GMT



Server: BWS/1.0



Content-Length: 3520



Content-Type: text/html;charset=gb2312



Cache-Control: private



Expires: Sat, 21 Nov 2009 09:17:58 GMT



Set-Cookie: BAIDUID=7B14CFF75A3DC12D4A590E53760BBA2F:FG=1; expires=Sat, 21-Nov-39 09:17:58 GMT; path=/; domain=.baidu.com



P3P: CP=" OTI DSP COR IVA OUR IND COM "







<html><head><meta http-equiv=Content-Type content="text/html;charset=gb2312"><title>..................      </title><style>body{margin:4px 0}p{margin:0;padding:0}img{border:0}td,p,#u{font-size:12px}#b,#u,#l td,a{font-family:arial}#kw{font:16px Verdana;height:1.78em;padding-top:2px}#b{height:30px;padding-top:4px}#b,#b a{color:#77c}#u{padding-right:10px;line-height:19px;text-align:right;margin:0 0 3px !important;margin:0 0 10px}#sb{height:2em;width:5.6em}#km{height:50px}#l{margin:0 0 5px 15px}#l td{padding-left:107px}p,table{width:650px;border:0}#l td,#sb,#km{font-size:14px}#l a,#l b{margin-right:1.14em}a{color:#00c}a:active{color:#f60}#hp{position:absolu

te;margin-left:6px}#lg{margin:-26px 0 -44px}#lk{width:auto;line-height:18px;vertical-align:top}form{position:relative;z-index:9}</style></head>

<body><div id=u><a href=http://passport.baidu.com/?login&tpl=mn>....</a></div><center><img src=http://www.baidu.com/img/baidu_logo.gif width=270 height=129 usemap="#mp" id=lg><br><br><br><br><table cellpadding=0 cellspacing=0 id=l><tr><td><div id=m><a 

onclick=s(this) href=http://news.baidu.com>.. ..</a><b>.. ..</b><a onclick=s(this) href=http://tieba.baidu.com>.. ..</a><a onclick=s(this) href=http://zhidao.baidu.com>.. ..</a><a onclick=s(this) href=http://mp3.baidu.com>MP3</a><a onclick=s(this) href=http://image.baidu.com>.. ..</a><a onclick=s(this) href=http://video.baidu.com>.. ..</a></div></td></tr></table>

<table cellpadding=0 cellspacing=0 style="margin-left:15px"><tr valign=top><td style="height:62px;padding-left:92px" nowrap><form name=f action=s><input type=text name=wd id=kw size=42 maxlength=100> <input type=submit value=........ id=sb><span id=hp><a href=/gaoji/preferences.html>....</a><br><a href=/gaoji/advanced.html>....</a></span></form></td></tr></table>

<p id=km><a href=http://hi.baidu.com>....</a>  <a href=http://www.hao123.com>hao123</a> | <a href=/more/>....<span style="font-family:....">>></span></a></p>

<p style=height:60px><table cellpadding=0 cellspacing=0 id=lk><tr><td></td></tr></ta

ble></p>

<p style=height:30px><a onClick="this.style.behavior='url(#default#homepage)';this.setHomePage('http://www.baidu.com')" href=http://utility.baidu.com/traf/click.php?id=215&url=http://www.baidu.com>..............</a></p><p style=height:14px><a href=http://e.baidu.com>............</a> | <a href=http://top.baidu.com>..........</a> | <a href=http://home.baidu.com>........</a> | <a href=ht

tp://ir.baidu.com>About Baidu</a></p><p id=b>©2009 Baidu <a href=http://www.baidu.com/duty/>..............</a> <a href=http://www.miibeian.gov.cn target=_blank>..ICP..030173..</a> <img src=http://gimg.baidu.com/img/gs.gif></p><map name=mp><area shape=rect coords="43,22,227,91" href=http://hi.baidu.com/baidu/ target=_blank title="........ ........"></map></center></body>

<script>var w=document.f.wd;function s(o){if(w.value.length>0){var h=o.href;var q=encodeURIComponent(w.value);if(h.indexOf("q=")!=-1){o.href=h.replace(new RegExp("q=[^&$]*"),"q="+q)}else{o.href+="?q="+q}}};(function(){if(new RegExp("q=([^&]+)").test(location.search)){w.value=decodeURIComponent(RegExp.$1)}})();if(navigator.cookieEnabled&&!/sug?=0/.test(document.cookie)){document.write('<script src=http://www.baidu.com/js/bdsug.js?v=1.1.0.3><\/script>')};if(window.attachEvent){window.attachEvent("onload",function(){w.focus();})}else{window.addEventListener('load',function(){w.focus()},true)};window.onunload=function(){};</script></html><!--

0e94a8fd6438cdd2-->
Siramizu 2009-11-21
  • 打赏
  • 举报
 回复
那个帖子里面是自己写的socket，接收到特定数据之后就直接断开了，curl已经把socket请求封装好，所以你控制不了
lovewangya 2009-11-21
  • 打赏
  • 举报
 回复
do_fork您的所有问题都是对的，唯独这个问题我认为不对，如果我的说法有问题还请指教:

麻烦看一下这个帖子您就明白了：http://bbs.blueidea.com/thread-2908061-1-2.html
do_fork 2009-11-21
  • 打赏
  • 举报
 回复
只返回header部分不返回body，这个不现实，原理我已经解释过了。

当curl只是取回header的时候，实际上body已经到达你的主机，只不过被curl丢弃，没有返回给你。

根据长度判断是不准确的，也不是每次都能取得长度。


如果是自己的站点，不妨在所有引起页面变化的操作上加一个步骤，
将XX页面变化时间存储到数据库，ajax可以通过一个检测xx页面更新时间的后台程序获取信息。

静态页如果没更新，会返回304
关于thinkphp中文乱码的问题，新版的没有出GBK版，美中不足啊。
最近开发一个项目，用的是thinkphp框架，不过，数据库用的是sqlserver，没有办法，公司就是这么决定 的。开发过程中，中文编码问题实在让我头疼了好长时间。现在，把自己的经验写出来，希望给大家一些帮忙。 首先，我想说一下中文乱码产生的原因。如果你的项目中的中文在不涉及数据库的时候显示是正常的，而写入数据库或者是从数据库中读取中文数据的时候出现了乱码问题，那么，问题产生的原因是sqlser
离职后前公司老大叫我回去帮忙，怎么委婉拒绝？
我离职跳槽9个月后，突然接到前老板电话约我吃饭，有事求我，他对我很好，可没想到这次他却让我非常为难，无奈之下，我委婉拒绝了前老板的请求，但前老板的表现让我感到十分愧疚。 我的原单位是一家小型的公司，只有9个人，但却在本地活动策划的行业内，拥有不小的名气，前老板是一个处事圆滑的人，人脉圈子很广，感觉在我们这座小城中就没有他不认识的人，他每天都会跟各个公司的老总组饭局，沟通感情。 我跟着前老板学到了很多为人处世之道，还学会了很多的工作技能，我很喜欢在原单工作，可我心里却一直有一件事情放不下。 ..
写给大二女生：发现问题，主动想办法解决
【来信】　　刚才写的字数超了，所以不知道老师您有没有收到，所以，只能重新写一遍。想了很久，决定还是写下这封信。　　我是软件工程的一名女学生。大一浑浑噩噩地度过了，什么也没学。大二想认真学，却有时候总感觉力不从心，深深的无力感。　　我们现在的主要课程有：数据结构，可视化Java GUI 程序设计，操作系统，计算机组成原理。发现计算机组成原理很难听懂，我也不清楚这个学了有什么用。数据结构呢，大概是我基
ADS已经下载好了，但是DAS下载不了，一直显示这两种情况，有什么办法吗？？
初始化MPU6050：通过MPU6050读取角速度和加速度数据，计算出小车的当前姿态角度（Pitch,Roll等）。PID控制器设计：根据当前的姿态角度和期望角度，使用PID算法计算调整输出（如电机控制信号）。输出控制：根据PID算法输出调整电机的驱动信号。MPU6050角度获取：首先通过I2C通信读取MPU6050的角速度和加速度数据，然后通过融合算法计算小车的姿态角度。PID控制器实现：根据当前角度和目标角度，使用PID控制器计算误差并输出合适的控制信号。
肝了半个月，我整理出了这篇嵌入式开发学习学习路线+知识点梳理）
不好意思久等了 这篇文章让小伙伴们久等了。 一年多以来，关于嵌入式开发学习路线、规划、看什么书等问题，被问得没有一百，也有大几十次了。但是无奈自己对这方面了解有限，所以每次都没法交代，搞得实在不好意思。 但是办法总归是有的，正如前篇文章《最近厚着脸皮联系了不少老同学》所聊，虽然我自己不从事这些方向，但寻思了一下，我的同学和朋友中，多少还是有一些从事相关方向并且在一线（或曾在一线）工作过的，所以我就请他们帮忙一起梳理这几个我不熟悉领域的学习路线，这次嵌入式开发就是其中之一。 这篇文章之所以拖这么久，因为沟..
基础编程

21,891

社区成员

140,342

社区内容

发帖
与我相关
我的任务
社区描述
从PHP安装配置，PHP入门，PHP基础到PHP应用
社区管理员
  • 基础编程社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章