请教大家一个关于爬虫爬取网站的问题。

FoxFiled FoxFiled 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
我用python写了一个爬取水木社区(http://www.newsmth.net/nForum/#!board/Python?p=1)的爬虫,来爬取这一页的每个帖子的链接,我用浏览器查看了每个帖子的链接放在<td class='title_9'> <td>和<td class='title_9 bg-odd'> <td>这样的标签里。我使用td=tbody.find_all('td',class_='title_9')可以返回所有class='title_9'和class='title_9 bg-odd'的所有帖子,为什么class='title_9 bg-odd'的帖子也能找到? 我使用td=tbody.find_all('td',class_='title_9 bg-odd')时,却返回空,一个帖子也找不到。然后我print(tbody)把tbody的内容打印出来,发现打印出来的所有帖子都在<td class='title_9'> <td>里面,所有的class='title_9 bg-odd'都变成了class='title_9'了,为什么会这样呢?为什么程序打印出来的tbody的内容和在浏览器上看到的不一样?求大神帮忙解答一下,谢谢啦。
浏览器看到的:

程序输出的:
...全文

相关推荐

评论 16
收藏 已收藏
分享
返回顶部
FoxFiled
脚本语言 37,738 成员 34,208 内容