爬取网站时请求参数中有一个sign值

starishere 2018-05-05 06:15:55

http://www.andianjing.com/asp/getMatchList.php?pageIndex=1&betType=dota2&tm=1525511921000&sign=3664f05485fccb12c11321cab801014b
这个链接请求参数tm是时间戳，后面那个sign每次请求也都不一样，本地找不到怎么生成的。。如果获取不到这个值想要爬取这个网页是不是可以通过selenium+phantomjs呢？

...全文

1389 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

starishere 2018-05-06

打赏
举报

回复

嗯，用selenium模拟了，结帖

RitaNBBB 2018-05-06

打赏
举报

回复

只能用selenium模拟了。

oyljerry 2018-05-05

打赏
举报

回复

应该是认证签名等相关的，估计跟账号登录后有关。用selenium模拟

中国大学MOOC课程信息爬取，包括（课程的参加人数和评分）基本是所有的中国大学MOOC课程信息数据

在数据爬取中，我们经常需要从电商平台上提取产品信息，比如在 1688 上获取某个店铺的所有商品链接。1688 平台对部分 API 的调用做了加密和鉴权处理，其中主要是对 sign 参数的生成。因此，在本文中，我们将使用 Python 对 1688 的店铺页面进行爬取，提取店铺的商品链接，并通过模拟请求、获取签名等技术手段实现这一功能。通过输入店铺的名称和链接，爬取并获取该店铺所有商品的链接，最终将链接保存到 Excel 文件中。代码分为以下几个部分： - 生成签名 sign 参数 - 获取用于请求的 cookies - 提取店铺 memberId 以识别店铺信息 - 分页请求店铺商品数据 - 将商品链接保存到 Excel 文件中 #声明本项目基于https://github.com/ihmily/1688-Decryptor进行了改进，原项目通过输入店铺 ID 来获取店铺信息，改进后的项目支持通过店铺名称和店铺链接来获取店铺的所有商品链接。本项目仅供学习和研究使用，任何因其导致的版权或服务条款侵犯等行为均与维护者无关，请确保合规使用。

利用selenium来自动翻页爬取淘宝商品的标题，价格，销量，产地信息。利用selenium,手动登录获取cookie保存在本地用于登录平台（便于测试代码),访问商品页url通过Xpath选中对象拿数据，翻页，通过Xpath选中对象拿数据,翻页，通过Xpath选中对象拿数据....*** **网页源代码中是没有所需数据的。** 在淘宝的关键词搜索页进行页面切换，可以发现浏览器顶部的地址栏url也是没有任何变化，那么就抓包吧，通过开发者工具进行抓包发现所需数据都放在一个js请求的响应中。在Headers中观察请求发现数据请求地址(get请求)，但是地址中有加密参数要破解，作者暂时还搞不定，不过b站有教哈。（加密参数:sign,t。(作者感觉这个t应该就是时间哈)) 所以我用selenium,因为成功了.... **注意：** **使用selenium时，在搜索后的商品页中需要下拉滚动页面到底部才能获取当前页所有的商品基本展示信息。** 原理猜测:商品页中商品展示使用Ajax动态请求，为了可以在不重载网页的条件下，与服务器进行数据交互，更新页面的局部数据。***（因为使用A

主要介绍了Python实现爬取需要登录的网站,结合完整实例形式分析了Python登陆网站及数据抓取相关操作技巧,需要的朋友可以参考下

python百度翻译爬取调用代码

81,122

社区成员

341,744

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章