php实现自动登录网站并抓取网页

2013-06-29 02:44:17 1.6k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Jsoup 抓取网页信息（2）需要Login的网页信息抓取有时候抓取网页信息的时候，有些网页需要先登录才能查看到真正的内容。这样用我们上一篇文章的方法是无法直接抓取数据的。 Jsoup 抓取网页信息（1）抓取国际疾病码例如抓取网页：http://www.findacode.com/code-set.php?set=CPT 上的 CPT codes 登录前，显示如下：登录后显示：我们要抓取的信息是登录后显示的内容。阅读详情

目的：
我打算使用php的curl去登录英策估值(http://www.wistrategy.com/)的登陆页面http://www.wistrategy.com/manage/login.aspx 然后抓取目标网页(比如：http://www.wistrategy.com/stock/000606.html)的源码。
该网站对于没有登录的用户，只能给予三次免费查询机会，而登录的用户则可以无限制的查询，
所以我现在希望使用curl登录该网站然后抓取目标网页的内容。

实现：

我用curl写了一个模拟登录和抓取的程序但是没有任何效果找半天没找到错误原因
代码如下：
<?php

$cookie_jar=tempnam('./tmp','cookie');
$login_url="http://www.wistrategy.com/login.aspx";
$post_fields="user=abc1234&pwdinput=abc1234";

$ch = curl_init($login_url);
curl_setopt($ch, CURLOPT_HEADER,0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_jar);
curl_setopt($ch, CURLOPT_POSTFIELDS,$post_fields);
curl_exec($ch);
curl_close($ch);

$url="http://www.wistrategy.com/stock/000606.html";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER,0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_jar);
$content=curl_exec($ch);
curl_close($ch);

?>

问题：
请各位帮忙看下上面的代码错在什么地方，那个网站的登录用户名：abc1234 密码：abc1234

...全文