37,743
社区成员
发帖
与我相关
我的任务
分享请发表友善的回复…
发表回复
lyn_CS 2021-02-02
- 打赏
- 举报
你再仔细看看，我告诉你过程了。你先去数据里找联赛id，比如你点一下西甲，不就在主页上看到西甲的id了吗。西甲看到的就是所有的西甲球队，而且那个页面的url就是用来请求联赛的接口，带着的参数就是西甲对应的参数。这个时候你就去返回找到西甲所有球队的id，你要明白页面渲染出来了，返回里一般就有返回数据用来构造页面的，所有的球队数据就在返回里。你再点一下对应球队，不就进入到球员数据里了。球队的接口数据就是你点击不同球队的那个url，你通过这个接口加球队id不就请求到了球员的页面了吗，再去请求返回里找球员id，把球员id保存起来，你再点击一下球员的不就看到了球员的数据接口的url和带的参数了，那个参数就是球员id用来构造请求的。不知道我说明白了没有。你最终的目的是找到所有球员的id和用来请求球员数据的url，但是球员的id要通过联赛-球队-球员找到。通过这个步骤你也可以将球员按照联赛-球队-球员串联起来
BUPT丶云卷云舒 2021-02-02
- 打赏
- 举报
目前还只能爬一个队。。。
BUPT丶云卷云舒 2021-02-02
- 打赏
- 举报
譬如英超球队的参数代码是从50000513（阿森纳）到50000556（布莱顿），中间还缺少的不少降级的球队，我要爬多个球队主页的时候怎么设置循环呢？
BUPT丶云卷云舒 2021-02-02
- 打赏
- 举报
你的具体意思我明白了，奈何不会写基础爬虫代码，去哪能找到类似的我改改呢？
BUPT丶云卷云舒 2021-01-29
- 打赏
- 举报
谢谢大佬。现在懂球帝新闻界面我能抓下来，用xpath解析到新闻标题。但是球员数据还是不知道具体要怎么弄，我想把五大联赛所有球员数据都抓到。我再看看吧= =
lyn_CS 2021-01-21
- 打赏
- 举报
刚刚看了下懂帝的页面，说一下大致过程。你先去数据的主页面，它的每个联赛的id对应的是数字，每个联赛的id你手工点击不同联赛就能看到。每个球队的id通过联赛数据接口主页面请求的返回，懂帝的数据都在第一个请求的返回里。然后用联赛id去请求联赛那个接口，联赛的主页面的返回里找到球队的id，再用球队的id去请求球队的接口，从请求主页面里返回里找到球员id然后，然后根据每个球员的id去请求数据，数据返回也在主页面里。过程就是手工记录对应联赛的id-请求获取球队id-请求获取球员id-拿到数据
lyn_CS 2021-01-20
- 打赏
- 举报
兄弟啊，要什么思路，先看一下懂球帝有没有反爬，没有就直接请求，有的话不会破解就用虚拟浏览器selenium
看一下球员的接口数据是从哪个接口返回的，找到它的入参，一般球员这种大概率是传个类似球员id进去，然而可能你并不知道球员id是什么，那就手工多看几个id，去猜一下大致的规律，然后自己去生成，有数据就拿，没有就过。拿到数据再。可是你又觉得不会前端，找不到球员数据的element，那就用xpath，谷歌的插件会自动帮你生成元素路径，去匹配就可以了
