关于php curl抓取出现500内部错误的疑惑

liveshow 2015-05-15 09:44:23
环境:
win2008R2 iis7 php5.2.17 mysql5.1 没有使用fastcgi,是isapi模式

问题描述:

同一台服务器上捆绑了两个网站,电脑版和手机版,独立应用程序池, 电脑版高峰期1分钟内同时在线100人左右,手机版高峰期超800人;

而手机版在使用curl 抓取外部网页内容时,偶偶就会出现500内部错误,电脑版此时同样用curl去抓取该页面正常;

手机版在抓取出现500错误的时候,将curl抓取改成file_get_contents抓取是正常的。如果不改成file_get_contents必须重启IIS才能正常抓取。

这个是我的curl抓取函数:

function Get_Site_Contents($url){
$ch = curl_init();
curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10);
curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
$fcontents = curl_exec($ch);
return $fcontents;
}


请教下各位,这个curl抓取出现500内部错误,是负载的问题(内存16G CPU24线程 硬件方面都显示正常的),还是程序或者环境设置方面的问题呢? 有遇到或者了解的朋友麻烦指点一二,谢谢了!
...全文
600 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
傲雪星枫 2015-05-16
  • 打赏
  • 举报
回复
看看apache log有什么错误。
夏之冰雪 2015-05-15
  • 打赏
  • 举报
回复
每次php请求都是独立的,不应该出现这个问题,除非电脑版和手机版抓取时的参数之间有差异。 建议对于curl的函数记录下日志,打印出来具体的请求参数,看是否一致

21,886

社区成员

发帖
与我相关
我的任务
社区描述
从PHP安装配置,PHP入门,PHP基础到PHP应用
社区管理员
  • 基础编程社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧