3.7w+
社区成员
- 全部
- 互动交流
- 文章分享
请教一个爬虫的问题
如果用chrome浏览器检查源代码是：<a target="_blank" href="/finalpage/2021-04-03/1209638861.PDF">
如果用request请求页面用response打印出来的源代码是：<a target="_blank" :href="pdfUrl">
求教各位大牛怎么能抓取href的数据？
如果用request请求页面用response打印出来的源代码是：<a target="_blank" :href="pdfUrl">
求教各位大牛怎么能抓取href的数据？
...全文
请发表友善的回复…
发表回复
sjcmhx8w8e 04-06
谢谢,我用的是selenium
放风喽 04-06
异步加载的 数据，用selenium，或者找到后端接口。
网络爬虫常见问题（个人总结） 总结网络爬虫遇到的问题和需要涉及到的重点 引用知乎一篇文章：https://zhuanlan.zhihu.com/p/22556271 这篇文章中涉及的内容，在很多开源的爬虫框架中都有使用，我的个人分类中有很多相关demo和不错的文章 除此...
记录一个爬虫项目中遇到的问题及解决方案 2.使用webmagic+chromeDriver爬虫遇到问题会打开一个真实的窗口 3.使用webmagic+phantomJS爬虫遇到问题，登录时无法定位标签，通过固定浏览器尺寸解决；当进入页面后有弹窗需要点击关闭，使用click模拟点击关闭，因...
使用python写一个爬虫所遇到的问题汇总 1、请求头的伪装 ...第一个：User-Agent 调用太过频繁报错 第二个：目标网站反爬虫策略不仅仅验证了，我上面所说的东西。 针对以上2个问题最简单的方式，就是捕获此异常。然后调用 time.sleep(2)，让程序休
请教一个爬虫问题!!!!!! 计划是对每一个板块的待解决、已解决和精华帖子的标题进行爬取 爬到第一个板块鸿蒙OS论坛的精华帖子时 为空。爬取未出现问题 当爬取到第二个板块EdgeX中国社区论坛的已解决时也为空。这时问题就出现了 问题是数据库...
请教大神，一个爬虫问题 ``` import requests import re ... def gethtmltext(url, timeout = 30): ... kv = {'user-agent':'Mozilla/5.0'} ...但是我自己用浏览器搜索这个url的时候，源代码是有商品信息的，请教大神如何解决呢？
请教一个Python爬虫问题 一个用Python写的简单爬虫程序: import urllib2 url = "http://www.126.com" request = urllib2.Request(url) request.add_header("user-agent","safari/10.0.3") response = urllib2.urlopen(request) print len...
python和易语言爬虫速度_请教一个问题，怎么提高 python 爬虫的爬取效率？ 写了个简单的协程爬虫爬取 B 站用户信息，代码如下：import requestsimport reimport jsonimport datetimeimport asynciodef get_info(uid):url_info = "http://space.bilibili.com/ajax/member/GetInfo?mid=" #基本...
请教一个 Python 爬虫信息提取问题 最近在学写爬虫，聚合程序员的招聘信息，已经聚合了几个网站数据： http://www.codejob.me 但在写智联招聘爬虫的时候，薪酬如'6001-8000' 我的python代码： s = '6001-8000' if '-' in s: m = re.match(r'(.*?...
新手请教一个关于爬虫的问题 我用python2.7写了一个采集搜狗问问标题的程序, 每次采集间隔如果不执行time.sleep(5),采集15页以上就会抓取不到内容, 但是这时候用人工去搜索没问题, 还有就是headers里增加Referer头就会什么也采集不到,不加反倒...
请教大家一个关于爬虫爬取网站的问题。 我使用td=tbody.find_all('td',class_='title_9 bg-odd')时，却返回空，一个帖子也找不到。然后我print（tbody)把tbody的内容打印出来，发现打印出来的所有帖子都在<td class='title_9'> 里面，所有的class='title_...
请教一个问题如何改变URL中参数让爬虫一直爬 import re import requests i = 0 while i (Windows NT 10.0;...)' , re.S) result = obj.finditer(content) for i in result: print(i.group("name")) resp.close() i = i + 1 这个会报错，正则和int不匹配
请教，python爬虫问题 像如下网页内嵌的直接打开的pdf文件，能批量下载下来吗？找不到链接。 图1，是加载的内容，只能看，不能下载不能拷贝。 图2，是加载中，有的浏览器会无法加载。 图3、图4，是对应查看的代码，即便成功加载内容后，...
请教一个node.js爬虫的问题 目标是一个滚动底部加载的网站，通过抓包发现，每次滚动到底部产生的url没有规律，如图所示，这种情况要怎么解决图片说明]...
想请教一下python爬虫中文乱码问题 小白最近在学爬虫，请问各位大哥们我想爬取的这句话“第一回·宴桃园豪杰三结义 斩黄巾英雄首立功”为啥是乱码呢 我用利用正则解析下面这个 第一回·宴桃园豪杰三结义 斩黄巾英雄首立功 代码如下，问题可能有些弱智...
python爬虫入门请教问题 但是他原页面是这个样子的 <p><img alt="" height="943" src="https://img-ask.csdnimg.cn/upload/1617024299019.png" width="1920" /></p> 这是怎么回事啊，求大佬们指点！！！</p>
初学python 爬虫，想请教一个代理头的问题 from fake_useragent import UserAgent 这个函数是什么用处，为什么需要构造头部信息呢，headers的信息不是就隐藏在 网页检查元素里面吗
请教一下 关于scrapy爬虫的问题，执行1个小时左右，就爬不动了 大约一个小时左右就爬取不到数据），但是重新启动还可以继续</li><li>使用Linux的crontab定时任务时，时灵时不灵</li><li>请问有什么办法可以解决，（每个小时启动scrapy的方法也可以...
想请教一些练习爬虫时候遇到的问题 练习爬虫时，爬取今日头条网页代码的时候发现网页的内容集在doc，看到一些以前的回答，他们需要的网页信息都是集中在xhr，以及这个sourcemapping里面的内容通过requests请求是的不到的，这是什么原因
新人请教个网页爬虫request的问题 Hm_lpvt_2947ca2c006be346c7a024ce1ad9c24a=1487866844' } web_data = requests.get(url_slave,headers=headers) print(web_data.text) 这个问题是获取某网页已登录后获取的html，为什么死活出来的html和网页上的对...
请教个问题，我用scrapydweb部署的爬虫，运行需要用到pyexecjs报错 请教个问题，我用scrapydweb部署的爬虫，运行需要用到pyexecjs，使用scrapydweb启动会报错“Could not find an available JavaScript runtime”；但是我node安装了而且是全局。我去上传部署...
python爬虫面试问题_请教一道 Python 多线程爬虫的面试题 从一个 url 出发，打印出所有链接出去的 url ，所有 url 只打印一次。首先是单线程版本的，用 BFS ，同时用一个 set 记录访问过的 url 就可以了.start = "http://google.com"queue = [start]visited = {start}while ...
新手请教python一个爬虫问题 但是，许多著名歌手都不愿意一展歌喉，因为他写的歌太稀奇、太古怪有一天，吴宗宪抛给他一个机会：10天，写50首歌，然后挑选10首，自己唱，出专辑。终于，他的第一张专辑问世，立即轰动歌坛。紧接着的第二张专辑...
请教各位大神爬虫编码问题 e: if hasattr(e,"code"): print e.code if hasattr(e,"reason"): print e.reason 运行后爬了一堆乱码，改为c = reponse.read().decode('utf-8')后报错，如下： 网上找了很多帖子也不知道怎么解决
小白，刚学爬虫，有一个问题想要请教？ #电影个数 title = tlt[i].split('>')[1] #用>隔开 rank = rlt[i].split('>')[1] #用>隔开 info.append([title,rank]) except: print("") def printInfo(info): tplt = "{:5}\t{:10}\t{:10}" print(tplt.format(...
