请教大神爬虫问题!

MuGGle. 2019-04-17 07:36:44

<script> var prdinfo=｛我想爬的内容｝ </script> 怎么把这个红色圈起来的部分爬下来

...全文

79 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

一笑程序猴 2019-04-18

打赏
举报

回复

用正则表达式试一下
catId:"cat10000070"(.*?)productType:"prd"
(.*?)是要获取的值
两边的分别是开始位置和结束位置

啥都不懂，随便试试，我是第一次接触爬虫，学习方式是通过小甲鱼的python学习网课，希望能坚持学习完，积极向大神们请教，小白们相互鼓励，加油！

有偿！感谢老师们！

seo大神请私信我，学习为主。

最近在做nlp，然后需要一些语料作为字典，所以就进行了一些爬虫，但是很多网站会有反爬虫机制其实维基百科也是很好的中文语料库，但是问题是现在国内需要翻墙才可以访问维基百科在我进行爬虫的过程中，遇到的问题是网页中有<input type="hidden">所以导致我用python的requests去请求之后，在用html.xpath()得不到我所需要的内容。于是请教大神，...

与大神一起工作的日常问题1： *之前一直在使用requests进行爬虫，虽然说也能执行并且获取数据，但是相对来说scrapy更为有效 * scrapy日常出错背景：今天在进行scrapy修改的时候发现 requests 重定向问题： requests的重定向只需要在请求的时候添加：allow_redirects=False 样例：r = requests.get(‘http://github.com’, allow_redirects=False) scrapy简单重定向：遇到简单的框架性的

37,721

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章