爬取中国国家数字图书馆相关图书的摘要

[Ripxxx]

初学python。
点击“摘要”后 图中的hidden会变成show 怎么爬取这里的内容

[考古学家lx(李玺)]

不是使用css来hidden-show的，所以点击一次会触发一次请求 F12用控制台查看请求，构建请求模拟点击 Request URL: http://find.nlc.cn/search/showExpandInfo FormData： docId: 5082364110256351272 tab: summary dataSource: 馆藏中文资源

[Ripxxx]

引用 1 楼 考古学家lx 的回复:

不是使用css来hidden-show的，所以点击一次会触发一次请求 F12用控制台查看请求，构建请求模拟点击 Request URL: http://find.nlc.cn/search/showExpandInfo FormData： docId: 5082364110256351272 tab: summary dataSource: 馆藏中文资源

docId不同 想要把这页所有书的摘要都爬取怎么办呢

[考古学家lx(李玺)]

列表页能获取到这页的docID，获取后再post请求摘要

[慕飒潇湘]

先要找到docId的变化规则，把规则转换成函数，遍历调用就可以了

[青柍]

爬虫遇到不好解决的，需要电脑操作的，可以试试selenium，只是效率比较慢

[Ripxxx]

感谢各位！

引用 6 楼 青柍 的回复:

爬虫遇到不好解决的，需要电脑操作的，可以试试selenium，只是效率比较慢

引用 5 楼 慕飒潇湘 的回复:

先要找到docId的变化规则，把规则转换成函数，遍历调用就可以了

引用 4 楼 考古学家lx 的回复:

列表页能获取到这页的docID，获取后再post请求摘要