关于抓取网站数据，出现302重定向！急！急！急！

宇宙兄弟1 2014-03-28 05:55:25
目标网站：http://www.dltm.net/webtmq/free/free_query.php
第一步：输入商标号，提交（post抓起）

第二步：点击商标号

第三步：需要抓取的数据


前两步均已实现抓取，但抓取最后一步时老是出现302重定向，导致数据抓取不到。
相关代码：


//第一步

define(TARGET_URL,'http://www.dltm.net/webtmq/free/free_query.php');

define(REFFER_URL,'http://www.dltm.net');

$url=TARGET_URL;

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL);

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

preg_match_all('<input type="hidden" name="ip" value="(.*)">',$result,$rs);



//第二步

$fields_post = array(

	'ip'=>$rs[1][0],

	'textarea_explain'=>'%B2%E9%D1%AF%C8%AB%B2%BF%C0%E0%B1%F0',

	'tm_lb'=> '0',

	'tm_key'=>'8437927',

	'tm_key_item'=>'tm_zch',

	'query_mode'=>'1'

);



$fields_string='';

foreach($fields_post as $key => $value)

{

    $fields_string .= $key . '=' . $value . '&';

}

$fields_string = rtrim($fields_string,'&');



define(TARGET_URL1,'http://www.dltm.net/webtmq/free/free_res.php');

define(REFFER_URL1,'http://www.dltm.net/webtmq/free/free_res.php');

$url=TARGET_URL1;

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);

curl_setopt($ch,CURLOPT_POST,1);//以POST方式提交

curl_setopt($ch,CURLOPT_POSTFIELDS,$fields_string);

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);



//第三步

preg_match_all('<a href="(.*)" target="detail">',$result,$res);

$url = 'http://www.dltm.net/webtmq/free/'.$res[1][0];



$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

print_r($result);exit;//这一步得不到数据

可以自己copy一下代码运行一下，第三步数据得不到，大神能帮我看看么，如果能得到数据，请贴出你的源码，非常感谢！！！
...全文
701 7 打赏 收藏 转发到动态 举报
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
宇宙兄弟1 2014-03-29
  • 打赏
  • 举报
 回复
引用 4 楼 xuzuning 的回复:
怎么不可以呢？ 以注册号 8437927 为例 新建一文件 cookie.txt，执行代码
$cookie = realpath('cookie.txt'); //这是增加的
//第一步
define('TARGET_URL','http://www.dltm.net/webtmq/free/free_query.php');
define('REFFER_URL','http://www.dltm.net');
$url=TARGET_URL;
$ch=curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, REFFER_URL);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的
$result= curl_exec($ch);//保存输出的页面到$result中
curl_close($ch);
preg_match_all('<input type="hidden" name="ip" value="(.*)">',$result,$rs);
 
//第二步
$fields_post = array(
    'ip'=>$rs[1][0],
    'textarea_explain'=>'%B2%E9%D1%AF%C8%AB%B2%BF%C0%E0%B1%F0',
    'tm_lb'=> '0',
    'tm_key'=>'8437927',
    'tm_key_item'=>'tm_zch',
    'query_mode'=>'1'
);
 
$fields_string='';
foreach($fields_post as $key => $value)
{
    $fields_string .= $key . '=' . $value . '&';
}
$fields_string = rtrim($fields_string,'&');
 
define('TARGET_URL1','http://www.dltm.net/webtmq/free/free_res.php');
define('REFFER_URL1','http://www.dltm.net/webtmq/free/free_res.php');
$url=TARGET_URL1;
$ch=curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);
curl_setopt($ch,CURLOPT_POST,1);//以POST方式提交
curl_setopt($ch,CURLOPT_POSTFIELDS,$fields_string);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的
$result= curl_exec($ch);//保存输出的页面到$result中
curl_close($ch);
 
//第三步
preg_match_all('<a href="(.*)" target="detail">',$result,$res);
$url = 'http://www.dltm.net/webtmq/free/'.$res[1][0];
 
$ch=curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的
$result= curl_exec($ch);//保存输出的页面到$result中
curl_close($ch);
print_r($result);exit;
谢谢，刚接触curl，cookie位置少放了 问题已解决，结贴！！！！
xuzuning 2014-03-29
  • 打赏
  • 举报
 回复
怎么不可以呢？
以注册号 8437927 为例
新建一文件 cookie.txt，执行代码
$cookie = realpath('cookie.txt'); //这是增加的

//第一步

define('TARGET_URL','http://www.dltm.net/webtmq/free/free_query.php');

define('REFFER_URL','http://www.dltm.net');

$url=TARGET_URL;

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

preg_match_all('<input type="hidden" name="ip" value="(.*)">',$result,$rs);

 

//第二步

$fields_post = array(

    'ip'=>$rs[1][0],

    'textarea_explain'=>'%B2%E9%D1%AF%C8%AB%B2%BF%C0%E0%B1%F0',

    'tm_lb'=> '0',

    'tm_key'=>'8437927',

    'tm_key_item'=>'tm_zch',

    'query_mode'=>'1'

);

 

$fields_string='';

foreach($fields_post as $key => $value)

{

    $fields_string .= $key . '=' . $value . '&';

}

$fields_string = rtrim($fields_string,'&');

 

define('TARGET_URL1','http://www.dltm.net/webtmq/free/free_res.php');

define('REFFER_URL1','http://www.dltm.net/webtmq/free/free_res.php');

$url=TARGET_URL1;

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);

curl_setopt($ch,CURLOPT_POST,1);//以POST方式提交

curl_setopt($ch,CURLOPT_POSTFIELDS,$fields_string);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

 

//第三步

preg_match_all('<a href="(.*)" target="detail">',$result,$res);

$url = 'http://www.dltm.net/webtmq/free/'.$res[1][0];

 

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中，而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

print_r($result);exit;
宇宙兄弟1 2014-03-29
  • 打赏
  • 举报
 回复
自己顶下，大神来看下，可以copy一下代码。打印crul_getinfo($ch)看看，最后一步时302重定向。。。
宇宙兄弟1 2014-03-29
  • 打赏
  • 举报
 回复
引用 1 楼 changjay 的回复:
增加 curl_setopt($ch, CURLOPT_COOKIEJAR, "cookie.txt"); curl_setopt($ch, CURLOPT_COOKIEFILE, "cookie.txt");
不行啊，打印curl_getinfo($ch) 

Array ( [url] => http://www.dltm.net/webtmq/free/free_detail.php?ip=7f6179b25de2974b0e0b33d01c2fef18&class_id=25&id=10309774 [content_type] => text/html [http_code] => 302 [header_size] => 440 [request_size] => 193 [filetime] => -1 [ssl_verify_result] => 0 [redirect_count] => 0 [total_time] => 0.094 [namelookup_time] => 0 [connect_time] => 0.047 [pretransfer_time] => 0.047 [size_upload] => 0 [size_download] => 0 [speed_download] => 0 [speed_upload] => 0 [download_content_length] => -1 [upload_content_length] => 0 [starttransfer_time] => 0.094 [redirect_time] => 0 [certinfo] => Array ( ) [redirect_url] => http://www.dltm.net/webtmq/free/free_query.php )
去圣西罗-为尤文喝彩 2014-03-29
  • 打赏
  • 举报
 回复
增加 curl_setopt($ch, CURLOPT_COOKIEJAR, "cookie.txt"); curl_setopt($ch, CURLOPT_COOKIEFILE, "cookie.txt");
Python数据爬虫项目实战
1.【为什么要学习本门... 不同项目解决不同的抓取问题，带你从容抓取主流网站，让你牢牢掌握爬虫工程师硬核技能。 3【主体大纲&设计思路】 本课程专为数据爬虫工程师打造，课程有二个阶段，爬虫案例->数据分析
php禁止进行302重定向,关于抓取网站数据，出现302重定向！该如何处理
关于抓取网站数据，出现302重定向！急！急！急！目标网站：http://www.dltm.net/webtmq/free/free_query.php第一步：输入商标号，提交(post抓起)第二步：点击商标号第三步：需要抓取的数据前两步均已实现抓取，但抓取最后一步时老是出现302重定向，导致数据抓取不到。相关代码：//第一步define(TARGET_URL,'http://www.dltm.ne...
App数据抓取（抓包工具使用）
我们通过模拟器和fiddler分析出请求数据的URL和header之后，以requests包发起请求，编写python脚本抓取并保存数据
antdesignpro 重定向到登录页面_Bluehost 域名解析和 301 重定向设置
什么是重定向？（redirect）举个例子，https://www.liaosam.com 和 https://go.liaosam.com 是两个独立的网站，一个是料网，一个是料网导航。权重、各项 SEO 指标都是独立的。最重要的是，网站内容都是独立的，熟悉建站的人都知道，二级域名相当于独立的站。如果某天我不想让别人访问料网上的内容，那么我可以让浏览者在试图访问料网时自动被跳转到导航站去，这个过...
http状态码(301,302,304...)
响应状态码 和请求报文相比，响应报文多了一个“响应状态码”，它以“清晰明确”的语言告诉客户端本次请求的处理结果。 HTTP的响应状态码由5段组成： 1xx 消息，一般是告诉客户端，请求已经收到了，正在处理，别急... 2xx 处理成功，一般表示：请求收悉、我明白你要的、请求已受理、已经处理完成等信息. 3xx 重定向到其它地方。它让客户端再发起一个请求以完成整个处理。 4xx（一般是...
基础编程

21,886

社区成员

140,364

社区内容

发帖
与我相关
我的任务
社区描述
从PHP安装配置，PHP入门，PHP基础到PHP应用
社区管理员
  • 基础编程社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章