请求帮助，抓取问题,100分+500元RMB

babyboyren 2011-07-05 09:35:09
我想抓取http://www.travelzen.com.cn/这个站的国际机票信息，思路如下：
第一步抓取flightLoading.php
$url = "http://www.travelzen.com.cn/flightLoading.php";
$referer = 'http://www.travelzen.com.cn/index.php?type=flight';
$cookie_jar = dirname(__FILE__)."/cookie.txt";
$timeout = 10;
$data = "flightType=Int&selectedDeparture=&selectedReturn=&selectedBookId=&fromCity=HKG&toCity=BKK&adult=1&child=0&datefrom=2011-06-20&searchToken=&type=&dep1=&arr1=&dep2=&arr2=&queryToken=&tripType=2&flightClass=All";
$ch = curl_init();
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_REFERER, $referer);
curl_setopt($ch, CURLOPT_COOKIESESSION, TRUE);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_jar);
$contents = curl_exec($ch);
curl_close($ch);

第二步抓取初步显示页面
$url = "http://www.travelzen.com.cn/getFlightSchPreview.php";
$referer = "http://www.travelzen.com.cn/flightLoading.php";
$ch = curl_init();
$timeout = 10;
$data = "movePrevNext_dep=&movePrevNext_ret=&departureCityIATACode=HKG&departureCountryIATACode=HK&destinationCityIATACode=BKK&destinationCountryIATACode=TH&isReturn=0&typ=2&cityfromDomestic=香港&citytoDomestic=曼谷&datefrom=2011-06-20&dateto=2011-06-21&numOfAdult=1&numOfChild=0&flightClass=All&nonstop=&searchToken=";
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_REFERER, $referer);
curl_setopt($ch, CURLOPT_COOKIESESSION, TRUE);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_jar);
curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
$contents = curl_exec($ch);
curl_close($ch);

第三步抓取最后刷新的真实数据
$url = "http://www.travelzen.com.cn/flightResult.php";
$referer = "http://www.travelzen.com.cn/flightLoading.php";
$ch = curl_init();
$timeout = 10;
$data = "movePrevNext_dep=&movePrevNext_ret=&departureCityIATACode=HKG&departureCountryIATACode=HK&destinationCityIATACode=BKK&destinationCountryIATACode=TH&isReturn=0&typ=2&cityfromDomestic=香港&citytoDomestic=曼谷&datefrom=2011-06-20&dateto=2011-06-21&numOfAdult=1&numOfChild=0&flightClass=All&nonstop=&searchToken=";
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_REFERER, $referer);
curl_setopt($ch, CURLOPT_COOKIESESSION, TRUE);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_jar);
curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
$contents = curl_exec($ch);
curl_close($ch);

整个过程，到第2步都可以正常抓回，但第3步最后只抓回了架子，里面的数据没抓回来，取消第2步，直接抓第3步也是一样的效果，希望life169能帮我看看，万分感谢，有高手有时间帮忙看看
http://topic.csdn.net/u/20110620/15/549ba42b-102d-4244-a7ee-216753f4329a.html
能解决，这个帖子的100分也一并送上。
...全文
305 9 打赏 收藏 转发到动态 举报
写回复
用AI写文章
9 条回复
切换为时间正序
请发表友善的回复…
发表回复
sindel 2011-07-09
  • 打赏
  • 举报
 回复
解决了,接分
cdx1988 2011-07-07
  • 打赏
  • 举报
 回复
是不是第二步请求延迟问题，在页面还没有返回结果时就请求了，请求的数据返回空值，第三步继续执行时没有任何值，你试试在第二步加上时间推迟，确定数据完全载入后再执行第三步
babyboyren 2011-07-07
  • 打赏
  • 举报
 回复
我也觉得应该是结果没产生，那有办法等结果产品再抓取吗？
babyboyren 2011-07-07
  • 打赏
  • 举报
 回复
能解决当然是真的了，可以直接联系我QQ：37500144
babyboyren 2011-07-05
  • 打赏
  • 举报
 回复
唠叨大哥，有空帮忙整整呀，我被这个问题困扰很久了。
babyboyren 2011-07-05
  • 打赏
  • 举报
 回复
因为是我以前发的贴，日期还是以前，现在需要改下抓取的日期。
xuzuning 2011-07-05
  • 打赏
  • 举报
 回复
没有兴趣玩抓取，何况你代码中的参数已经过期了，现在是7月份了你还在抓6月的数据，当然是抓不到的了

就代码而言
CURLOPT_COOKIEJAR 是发送的 cookie
CURLOPT_COOKIEFILE 是接收的 cookie
你当好弄反了
BooJS 2011-07-05
  • 打赏
  • 举报
 回复
500块是真的吗？

发现你第二步加了CURLOPT_COOKIESESSION,为啥啊？
而且第三步是做什么用的，和第二步有区别？
注释掉CURLOPT_COOKIESESSION可以获取到机票信息列表，这个东西一般都不设置什么true，有什么cookie就直接请求到服务端算了。
<?php

$url = "http://www.travelzen.com.cn/flightLoading.php";  

$referer = 'http://www.travelzen.com.cn/index.php?type=flight';

$cookie_jar = dirname(__FILE__)."/cookie.txt";  

$timeout = 10;   

$data = "flightType=Int&selectedDeparture=&selectedReturn=&selectedBookId=&fromCity=HKG&toCity=BKK&adult=1&child=0&datefrom=2011-06-20&searchToken=&type=&dep1=&arr1=&dep2=&arr2=&queryToken=&tripType=2&flightClass=All";

$ch = curl_init();  

curl_setopt($ch, CURLOPT_POSTFIELDS, $data);

curl_setopt($ch, CURLOPT_POST, 1);

curl_setopt($ch, CURLOPT_URL, $url);   

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);   

curl_setopt($ch, CURLOPT_REFERER, $referer);   

curl_setopt($ch, CURLOPT_COOKIESESSION, TRUE);

curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);   

curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_jar);

$contents = curl_exec($ch);

curl_close($ch);  



#第二步抓取初步显示页面

$url = "http://www.travelzen.com.cn/getFlightSchPreview.php";

$referer = "http://www.travelzen.com.cn/flightLoading.php";

$ch = curl_init();

$timeout = 10;  

$data = "movePrevNext_dep=&movePrevNext_ret=&departureCityIATACode=HKG&departureCountryIATACode=HK&destinationCityIATACode=BKK&destinationCountryIATACode=TH&isReturn=0&typ=2&cityfromDomestic=香港&citytoDomestic=曼谷&datefrom=2011-06-20&dateto=2011-06-21&numOfAdult=1&numOfChild=0&flightClass=All&nonstop=&searchToken=";

curl_setopt($ch, CURLOPT_POSTFIELDS, $data);

curl_setopt($ch, CURLOPT_POST, 1);

curl_setopt($ch, CURLOPT_URL, $url);   

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);   

curl_setopt($ch, CURLOPT_REFERER, $referer);   

//注释掉

#curl_setopt($ch, CURLOPT_COOKIESESSION, TRUE);

curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);  

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_jar);

curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);

$contents = curl_exec($ch);

curl_close($ch); 

echo $contents;

?>
LuciferStar 2011-07-05
  • 打赏
  • 举报
 回复
得不到，很可能是结果还没有产生。
C#基类库大全
1.C#HttpHelper,Httpwebrequest,请求时无视编码，无视证书，无视Cookie,网页抓取 访问数据库相关 1.SqlHelper类 2.一个操作Sql2005数据库的类（备份，还原，分离，附加，添加删除用户等操作） 帮助类 1.最新的...
C#基类库（苏飞版）
1.C#HttpHelper,Httpwebrequest,请求时无视编码，无视证书，无视Cookie,网页抓取 主要是实现了HTTP协议的GET|POST请求时的无视编码，无视证书，设置代理，自动获取Cookie的功能。 访问数据库相关 1.SqlHelper类 ...
Python-抓取股票信息
学习利用抓取股票信息
淘宝商品抓取
说说淘宝吧最近没少研究淘宝网,现在淘宝跟别的平台不一样的地方是他需要登录我们才能搜索商品抓取数据,常规的方法呢去请求url拿数据我们需要带上cookie但是有一部分数据也是拿不到的从app拿还需要逆向解析在下也是...
.net网站数据抓取
最新项目需要抓取人民币汇率中间价的数据，所以就写了个简单的爬虫抓取数据。抓取的网站为：http://www.safe.gov.cn/wps/portal/sy/tjsj_hlzjj_inquire #region 执行数据抓取（人民币汇率中间价） /// <...
基础编程

21,886

社区成员

140,364

社区内容

发帖
与我相关
我的任务
社区描述
从PHP安装配置，PHP入门，PHP基础到PHP应用
社区管理员
  • 基础编程社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章