如何解决调用normalize-space函数清除多余空格时导致爬取内容清空的问题

qq_37569795 2017-02-22 08:19:47
初学Scrapy爬取某网站数据
因网页源码问题,如下代码爬取内容时会在正确内容之前产生多余空格
item['corresponding_author'] = sel.xpath(‘.//div[contains(@class,"l-content")]//div[6]//p[1]/text()').extract()

经查询得知normalize-space函数可清除多余空格,故将代码改为
item['corresponding_author'] = sel.xpath('normalize-space(.//div[contains(@class,"l-content")]//div[6]//p[1]/text())').extract()

但测试时发现'corresponding_author'中未爬取到任何内容,疑因normalize-space函数错误使用导致,往大神指点!
...全文
402 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
qq_37569795 2017-02-22
  • 打赏
  • 举报
回复
第一段代码的全角单引号是粘过来不小心打错的别在意。。。

37,718

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧