110,534
社区成员
发帖
与我相关
我的任务
分享如何抓取天猫商品交易记录
最近在写一个抓取天猫商品信息的软件，在抓取交易记录时，怎么也抓不下来
我用了两种方式：
1.能过fiddler获取到查询交易记录的网址，在浏览器中直接访问，但显示“({"isSuccess":false})”，看来是传的参数经过加密的，只好用winform中的webbrowser控件
2.用winform中的webbrowser控件，但打开一个商品详情页时，出现了JS错误，然后交易记录就始终无法显示出来
最终都没能抓出数据
求教各位，怎么抓取天猫的商品交易记录
我用了两种方式：
1.能过fiddler获取到查询交易记录的网址，在浏览器中直接访问，但显示“({"isSuccess":false})”，看来是传的参数经过加密的，只好用winform中的webbrowser控件
2.用winform中的webbrowser控件，但打开一个商品详情页时，出现了JS错误，然后交易记录就始终无法显示出来
最终都没能抓出数据
求教各位，怎么抓取天猫的商品交易记录
...全文
请发表友善的回复…
发表回复
superdai 2015-03-05
- 打赏
- 举报
通过协议应该是可以的，试了下就是速度要控制。
hanyegudeng 2014-11-20
- 打赏
- 举报
用python实现对天猫所有商品，交易额，交易记录的全程抓取，工程量不小，需要抓取服务器集群支持。
g394100942 2014-11-13
- 打赏
- 举报
你抓取的时候碰到某一天的数据窜到其他天的情况没？就是其他天也有当前天的一二条数据？
gggidt 2014-07-19
- 打赏
- 举报
楼主，这个问题，你解决了吗？
changjiangzhibin 2014-05-30
- 打赏
- 举报
呵呵
dychen1026 2014-05-29
- 打赏
- 举报
你的qq确实需要验证的，呵呵。
dychen1026 2014-05-29
- 打赏
- 举报
我也遇到这个问题了，LZ弄好了吗？
a252744386 2014-05-27
- 打赏
- 举报
你直接帖代码啊，你QQ要回答问题才能加的。[/quote]
现在不需要答案了，直接贴代码怕用的人多天猫把这个抓取给限制了，我最近还是要抓的
save4me 2014-05-24
- 打赏
- 举报
登录后提取_tb_token_这个Cookie。因为这个Cookie是HttpOnly的， 无法从CookieContainer上直接检索，见http://msdn.microsoft.com/zh-cn/library/system.net.cookie%28VS.95%29.aspx
获取HttpOnly的Cookie的方法很多，比如通过调用wininet.dll的API,使用InternetGetCookieEx函数，可以手动通过从Set-Cookie头文件中提取，或者查询response.Cookies，然后再发送请求的时候一起提交就可以了。
下面是一个查询response.Cookies的方法:
public static void PrintCookies(HttpWebResponse response)
{
if (response == null)
return;
Console.WriteLine(string.Format("\n响应网页 {0} 的Cookie如下：", response.ResponseUri.AbsoluteUri));
foreach (Cookie cookie in response.Cookies)
{
Console.WriteLine("Cookie name: " + cookie.Name);
Console.WriteLine("Cookie value: " + cookie.Value);
Console.WriteLine("Cookie path: " + cookie.Path);
Console.WriteLine("Cookie secure: " + cookie.Secure);
Console.WriteLine("Cookie httponly: " + cookie.HttpOnly);
Console.WriteLine("Cookie timestamp: " + cookie.TimeStamp);
}
}
wo554006164 2014-05-23
- 打赏
- 举报
你直接帖代码啊，你QQ要回答问题才能加的。
a252744386 2014-05-22
- 打赏
- 举报
还碰巧真会，这是抓到的片段：
威伯洛施 女凉鞋平底凉鞋女 夏季羊皮罗马真皮平跟夹趾夹脚凉鞋女 <br/> 颜色分类:金色;尺码:35 </td> <td> <a href=\"http://www.tmall.com/go/act/sale/sjzxj.php\" target=\"_blank\" class=\"tm-buy-prom\" >手机专享</a> </td> <td>1</td> <td>2014-05-22 16:54:05</td> <td>成交 </td> </tr> <tr > <td class=\"cell-align-l\"> 幸<span class=tb-anonymous>**</span>5 <img src=\"http://pics.taobaocdn.com/newrank/b_blue_2.gif\" title=\"50
需要联系我qq 252744386
wo554006164 2014-05-20
- 打赏
- 举报
能够通过浏览器查看到，那么就应该能抓取到
SeeYou孙悟空 2014-05-20
- 打赏
- 举报
这个得淘宝的API接口吧，淘宝程序员 不能留这种漏洞给你随意抓取数据的。。。。。。。。。。
Landy_cc 2014-05-20
- 打赏
- 举报
如果winform 的webBroswer 的Js错误的话可以在webBroswer属性里设置 this.webBrowser1.ScriptErrorsSuppressed = true;
wo554006164 2014-05-20
- 打赏
- 举报
交易记录的地址：http://ext.mdskip.taobao.com/extension/dealRecords.htm?_ksTS=1400562648169_1086&callback=jsonp1087&bid_page=1&page_size=15&is_start=false&item_type=b&ends=1400811421000&starts=1400206621000&item_id=37653837000&user_tag=35196960&old_quantity=3965&seller_num_id=731510549&isFromDetail=yes&totalSQ=2915&sbn=72a70b466362972438bd763de37d0083&sold_total_num=1570&ua=227fCJmZk4PGRVHHxtNZngkZ3k%2BaC52PmgTKQ%3D%3D%7CfyJ6ZyBzMW0oanQqaH8jYRA%3D%7CfiB4D150Q1JSSgMWB1MdRUsAQR9Uc24mJT5vcCZXeQ%3D%3D%7CeSRiYjNhJ34%2Bf2w9cW40cW0ocTN0MnVlM3VrNnVgKnA2bC5ufDkQ%7CeCVoaEASTBRUGAdMCRxcCgYABBwESUhdXRANFwIMIhw%3D%7CeyR8C0ofXBlYGQdMCR5LDw9PFF4HWx4KVREbRgIcWxRXDEQAClQZCzoT%7CeiJ6DVx1WHB0dCASKi5uLTd8M3kmZDwifTgnezhJZw%3D%3D%7CdS93AFEQThZRCR9UEQ9SEg9OGDcD%7CdCx0A1J7Vn1%2FaiIhFEZeWFYJXRtBHV9BEEhfC05WF0cANBk%3D%7Cdy93AFFRTEtPXhYFU1kGQ1oFVBBNEVBEF1VBHVorBQ%3D%3D%7Cdi52AVARTxJTFhxKBhNTEgxLHlQPR24V%7CcShwB1YXSXs5eGohYHc3cW0maS9zL2J1PntpWAAcQwJSF1IUBlYaDlpzAg%3D%3D%7CcChwB1YXSRNbGBJECAJbHQVOHVYLJg8%3D%7CcytzBFUUShRWGhBDDh1dHAdAFlELSWAb%7CcipyBVR9UHt5bCQnEkBYXlAPWR1AHFxLHUVWDUxQEUEGMh8%3D%7CbTRsG0oLVWciZHY9emo%2BFxdUG0sAXB0MXhoLUhZnSQ%3D%3D%7CbDZuGUgJVw9HHwlCAxJLDhpdCiUR%7CbzdzbzBjPWY6f207Y3YvbGwrZCd%2BImR7MHx2LXVvMGIkYSV9aCNlbzJ2djdkSw%3D%3D&
但通过直接复制地址不能获取到数据
但通过直接复制地址不能获取到数据
