求助MOOC网站课程id的获取

cwa186 2019-01-12 10:29:14
网址:https://www.icourse163.org/category/computer
想爬取计算机类目下所有课程的课程id,尝试过两种办法:
1、通过json数据,但是包含id的字段是无法获取,如下图:

2、通过selenium+chrome获取,但是发现页面的'下一页'始终无法被点击;
求助论坛的各位大佬们,先谢过!
...全文
1650 3 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
cwa186 2019-01-19
  • 打赏
  • 举报
回复
感谢各位关注,问题已经解决,通过执行js代码,将覆盖在下一页上的元素display属性设置为none即可!
cwa186 2019-01-19
  • 打赏
  • 举报
回复
引用 1 楼 白菜[福
的回复:] https://www.icourse163.org/category/computer#?type=30&orderBy=0&pageIndex=2 利用索引pageIndex的值来刷新对应的界面。等同于下一页
老哥,这个mooc页面刷新不会根据pageIndex的值,换一种说法是: https://www.icourse163.org/category/computer#?type=30&orderBy=0&pageIndex=2 https://www.icourse163.org/category/computer#?type=30&orderBy=0&pageIndex=3 回车得到的页面都是: https://www.icourse163.org/category/computer#?type=30&orderBy=0&pageIndex=1
baicaisq 2019-01-14
  • 打赏
  • 举报
回复
https://www.icourse163.org/category/computer#?type=30&orderBy=0&pageIndex=2 利用索引pageIndex的值来刷新对应的界面。等同于下一页

37,743

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • WuKongSecurity@BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧