python爬虫快递100的temp值怎么确定

2019-08-10 11:17:19 1k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

weixin_45510130 墨衍会员 · AI 创作全网分发关注 + 加入社区

从python脚本爬取快递100认知csrftoken （1）首先登录快递100首页，此时先看下获取到的cookies，稍后会用到（2）找到获取快递公司名称的异步请求（3）找到获取快递信息的请求（此处是难点），先查看请求参数，type是上一步获取到的快递公司名，postid是快递单号，temp推测是随机数，phone不用填写根据我上一篇博客来到对应的参数计算公式https://blog.csdn.net/weixin_43868179/artic... 阅读详情

temp是一直在变得。

...全文

Python简单实现爬取快递物流实时信息！到了及时提醒！爬取思路：前两天有网友让我帮忙做一个通过快递100这个网站查快递物流信息的爬虫。研究了一下，发现实现起来不是很复杂，在此整理成文档并share给大家。爬取思路：输入运单号后从服务器获取快递公司对应的ID号，然后拼接出新的请求地址来获取相关信息。代码分解： class KuaiDi100(): def __init__(self): self.comCode = "" self.temp = "" self.url = r"https:// 阅读详情

weixin_45510130

脚本语言 37,737 成员 34,208 内容

+ 关注 + 加入社区

切换为时间正序

别怕，别怕，别怕 2021-02-07

打赏
举报

为啥查询有时候能查出来有时候查不出来

sanzyzx 2020-04-23

打赏
举报

引用 12 楼 smaltore 的回复:

另外一个不需要更新cookie的办法，是使用到第8关的内容，request.get首页获取cookie，再用这个cookie来登录 #调用Requests模块 import requests,json import random headers = { 'Referer': 'https://www.kuaidi100.com/', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36X-Requested-With: XMLHttpRequest' } url_home = 'https://www.kuaidi100.com/' res_home = requests.get(url_home,headers=headers) headers['Cookie'] = json.dumps(requests.utils.dict_from_cookiejar(res_home.cookies)) express_com = input('请输入快递公司：') or 'zhongtong' postid = input('请输入快递单号：') or 73124161428372 url_cookies = 'https://www.kuaidi100.com/globalauto.do' params = { 'type': express_com, 'postid': postid, 'temp': random.random(), 'phone': '' } url = 'https://www.kuaidi100.com/query' res = requests.get(url,headers=headers,params=params) #print(res.status_code) js = res.json() for s in js['data']: context = s['context'] ftime = s['ftime'] print(ftime,' ',context)

我是这种方法顺利调试成功，太感谢大神了！另外，这句：url_cookies = 'https://www.kuaidi100.com/globalauto.do' 是什么作用呢？我看不懂哈，我把这句注释掉，也可以运行，而且运行的结果是正确的，求大神指点：）

源码地址 2022-05-11

@sanzyzx 什么语言

sanzyzx 2020-04-23

打赏
举报

引用 12 楼 smaltore 的回复:

另外一个不需要更新cookie的办法，是使用到第8关的内容，request.get首页获取cookie，再用这个cookie来登录 #调用Requests模块 import requests,json import random headers = { 'Referer': 'https://www.kuaidi100.com/', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36X-Requested-With: XMLHttpRequest' } url_home = 'https://www.kuaidi100.com/' res_home = requests.get(url_home,headers=headers) headers['Cookie'] = json.dumps(requests.utils.dict_from_cookiejar(res_home.cookies)) express_com = input('请输入快递公司：') or 'zhongtong' postid = input('请输入快递单号：') or 73124161428372 url_cookies = 'https://www.kuaidi100.com/globalauto.do' params = { 'type': express_com, 'postid': postid, 'temp': random.random(), 'phone': '' } url = 'https://www.kuaidi100.com/query' res = requests.get(url,headers=headers,params=params) #print(res.status_code) js = res.json() for s in js['data']: context = s['context'] ftime = s['ftime'] print(ftime,' ',context)

我是这种方法顺利调试成功，太感谢大神了！另外，这句：url_home = 'https://www.kuaidi100.com/' 是什么作用呢？我看不懂哈，我把这句注释掉，也可以运行，而且运行的结果是正确的，求大神指点：）

sanzyzx 2020-04-23

打赏
举报

你好，我用你的方法，解决了问题。太感谢了神了哈！另外，这一句：url_home = 'https://www.kuaidi100.com/' 是什么作用呢？我把这句注释掉也可以运行，而且运行结果是正确是，求大神指点：）

weixin_45903952 2020-03-26

打赏
举报

好像定值查出来全是错的

weixin_38854800 2020-03-26

打赏
举报

引用 13 楼 smaltore 的回复:

测试证明，这个temp使用固定值也可以。

固定值你查出来的是对的？

smaltore 2020-02-19

打赏
举报

测试证明，这个temp使用固定值也可以。

smaltore 2020-02-19

打赏
举报

另外一个不需要更新cookie的办法，是使用到第8关的内容，request.get首页获取cookie，再用这个cookie来登录 #调用Requests模块 import requests,json import random headers = { 'Referer': 'https://www.kuaidi100.com/', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36X-Requested-With: XMLHttpRequest' } url_home = 'https://www.kuaidi100.com/' res_home = requests.get(url_home,headers=headers) headers['Cookie'] = json.dumps(requests.utils.dict_from_cookiejar(res_home.cookies)) express_com = input('请输入快递公司：') or 'zhongtong' postid = input('请输入快递单号：') or 73124161428372 url_cookies = 'https://www.kuaidi100.com/globalauto.do' params = { 'type': express_com, 'postid': postid, 'temp': random.random(), 'phone': '' } url = 'https://www.kuaidi100.com/query' res = requests.get(url,headers=headers,params=params) #print(res.status_code) js = res.json() for s in js['data']: context = s['context'] ftime = s['ftime'] print(ftime,' ',context)

smaltore 2020-02-19

打赏
举报

把所有的headers复制下来并格式化，tem使用random来生成，因为是临时cookie，所以时效很短，如果失效，需要更新headers。 a = '''Accept: application/json, text/javascript, */*; q=0.01 Accept-Encoding: gzip, deflate, br Accept-Language: zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7 Connection: keep-alive Cookie: csrftoken=S6AsiEvj_aeKAitoFBhsCuLEB3v_5o6Vk5jjLy6X02U; WWWID=WWW00DA2B91FED48DF5680A88F0047C710A; Hm_lvt_22ea01af58ba2be0fec7c11b25e88e6c=1582049778,1582049785,1582051025,1582051270; Hm_lpvt_22ea01af58ba2be0fec7c11b25e88e6c=1582051270 DNT: 1 Host: www.kuaidi100.com Referer: https://www.kuaidi100.com/ Sec-Fetch-Mode: cors Sec-Fetch-Site: same-origin User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36 X-Requested-With: XMLHttpRequest''' headers = {} for x in a.split('\n'): k,v = x.split(': ',1) headers[k] = v #调用Requests模块 import requests import random express_com = input('请输入快递公司：') or 'zhongtong' postid = input('请输入快递单号：') or 73124161428372 url_cookies = 'https://www.kuaidi100.com/globalauto.do' params = { 'type': express_com, 'postid': postid, 'temp': random.random(), 'phone': '' } url = 'https://www.kuaidi100.com/query' res = requests.get(url,headers=headers,params=params) #print(res.status_code) js = res.json() for s in js['data']: context = s['context'] ftime = s['ftime'] print(ftime,' ',context)

Lianth 2019-12-20