各位大佬:请教个问题,在使用requests_html库练习抓取百度热榜时,出现find为空的问题。代码如下:
In [2]: from requests_html import HTMLSession
In [3]: url = 'http://top.baidu.com/buzz?b=1&fr=20811'
In [4]: webdata = HTMLSession().get(url)
对链接标题通过css选择器选择元素并复制:copy-->copy selector
想查找复制的值:
In [5]: webdata.html.find('#main > div.mainBody > div > table > tbody > tr:nth-child(4) > td.keyword > a.list-title')
但得到的结果如下:
Out[6]: []
本来预期希望得到包含element元素的数组。结果确是空的。
webdata确认有值,通过如下代码
In [6]: print(webdata.html.text)
可以看到如下结果
我用同样的方式,在有些网站上抓取就没问题。
请教一下是怎么回事?
麻烦了,谢谢!