scrapy shell用xpath失效的问题

[fancy_T]

我爬的是百度的首页：https://www.baidu.com/

<div id="ftCon">
<div class="ftCon-Wrapper">
<div id="ftConw">
<p id="lh">
<a id="setf" href="//www.baidu.com/cache/sethelp/help.html" onmousedown="return ns_c({'fm':'behs','tab':'favorites','pos':0})" target="_blank">把百度设为主页</a>

想取出这个a标签的text内容 “把百度设为主页”，

我的语句是：
response.xpath("//a[@id='setf']")
返回了 []

又试了试css和完整的路径
response.css(".setf")
response.xpath("/html/body/div[@id='wrapper']/div[@id='ftCon']/div[@class='ftCon-Wrapper']/div[@id='ftConw']/p[@id='lh']/a[@id='setf']")
也是返回了[]

看了网上的一些说法，说浏览器没有tbody这些标签，我想我这个是a标签，应该不会吧，那我直接去拿了a标签前面的div，依然不行

response.xpath("/html/body/div[@id='wrapper']/div[@id='ftCon']/div[@class='ftCon-Wrapper']/div[@id='ftConw']")

没辙了...

[冰风漫天]

用requests请求的百度首页里应该没有<a id="setf" 这个a标签吧

[fancy_T]

引用 1 楼 冰风漫天 的回复:

用requests请求的百度首页里应该没有<a id="setf" 这个a标签吧

谢谢！ 看了一下requests请求的页面，确实没有这个标签，我之前都是f12拿标签来爬的，那怎么才能拿到这个a标签呢

[冰风漫天]

可以试试使用scrapy-splash