求助!python爬虫

等级
本版专家分:0
结帖率 0%
等级
本版专家分:0
等级
本版专家分:0
等级
本版专家分:0
等级
本版专家分:0
等级
本版专家分:0
等级
本版专家分:0
long_me

等级:

爬虫python踩坑求助,etree.HTML

我在尝试用python扒取某网站照片 大概流程是: 用requests请求页面得到HTML 用etree和xpath清洗数据再下载 但是! 当我执行到etree.HTML的时候 报错(如图) Pychar是2020版本(社区版和专业版都试了) 同样的代码到别人...

这是一个python爬虫求助

我正在学中国mook嵩天老师的python爬虫课程,目前进行到爬取淘宝商品信息实例编写,然后在这里卡了两天…下面是我按照老师视频和另一篇博客写出来的代码: `import re import requests def getHTMLTe...

自己python 爬虫入门的小坑

自己python 爬虫入门的小坑 1.文件扩展名 啊!一般人都不会犯得错误啊~ 偏偏被我犯了 本地自建的一个HTNL文件 请一定记得勾选此选项,不然文件就会成上面那个样子(PS:自己真不愧小白的名号!)。当你输入...

python3 [爬虫实战] selenium + requests 爬取安居客

很简单,这里是根据网友的求助爬取的安居客上的一个页面的全部地区名称跟链接 因为她用的scrapy框架,感觉有些大才小用了,所以就直接用了一个requests库,selenium 和xpath进行一整页数据的爬取 我们爬取的...

Python爬虫问题求助!!

求助 import requests from bs4 import BeautifulSoup from pyecharts.charts import Bar ALL_Data = [] def GetHTMLText(url): try: r = requests.get(url, timeout = 30) r.raise_for_status() r.encodi...

python爬虫出现中文乱码,求助大神!

最近在爬取一组网页数据时发现中文乱码,但是以前没有见过类似的乱码。 而且在同级网页中只有个别出现中文乱码现象,其他网页均正常。 乱码字符如下图 ![图片说明]...求助

Python爬虫爬取的数据不全

![图片说明]... ``` ... page=urllib.request.urlopen(url).read() soup=BeautifulSoup(page) ... items=soup.find_all('div',{'class':'List-item'}) ...结果只返回前3条List-item...新手求助

如何使用python爬虫获取css伪元素例如:::before?

求助大神,在爬取网站的时候,网站对于部分文字使用伪元素::before进行了替换,导致无法爬取需要的数据。 例如:略">::before</span> ::before中隐藏了content后的汉字。 请问该如何处理? 十分感谢!

Python爬取美团外卖商家信息求助

我想爬美团外卖某个地点的商家信息,比如北京北太平庄,网址如下:http://waimai.meituan.com/home/wx4ergy6qht3,查看网址源代码是能够看到商家信息的,但是用Python爬虫只能得到美团外卖首页的内容。是我要给网站...

python爬虫,遇到403 forbidden,求助

刚开始学爬虫,爬豆瓣电影的壁纸练手。现在程序可以跑下来,不返回错,但是下载的图片是失败的,response 返回 403 forbidden。 我这样想问题的原因对吗? **因为我想下高清的,但是豆瓣查看高清壁纸前,需要登录...

python爬取网页中文乱码。解决方案。python3

```r = requests.get('http://www.xxxxxxxxxxxxxxx.html')print(r.text)```初次试写python爬虫爬取网页小说,在第一个网站的时候没问题 第二个网站竟然中文乱码 很是尴尬多方求助 最后 一语惊醒先 r.encoding = r....

求助】用Python写出一个遍历网站所有url的小工具

Python 怎么写出一个 遍历网站所有url的小工具, 包括首页的url和所有子网页url 不能有重复的url,我自己写的只能遍历一个网页的 首页,子网页的遍历不出来,新人 没币 ,求好心人帮助!!!

求助 python爬虫 requests的get出现10054错误 远程主机强迫关闭了一个现有的连接

File "G:/python/zhilian_crawler/crawler3.py", line 284, in get_more_page(1,91) File "G:/python/zhilian_crawler/crawler3.py", line 170, in get_more_page get_page(url+str(one)) File "G:/python...

求助大神,爬虫爬取京东评论数据爬一小部分(大概100条评论)就爬不到评论了,返回空值了

python 爬取评论数据,爬到一百多条评论,就返回空值了,无法继续爬下去了

菜鸟求助,大神请进:python爬取某东评论数据遇到的问题

python爬取京东评论数据,爬10页的评论没问题,后面的评论就不断重复,到底是什么原因?![图片说明](https://img-ask.csdn.net/upload/201604/28/1461825261_30062.png)

求助。用python爬取微博用户的粉丝列表及粉丝的粉丝列表

急需一份能爬取微博用户的粉丝列表及对应粉丝的粉丝列表搭建一个实验平台,由于自己编程能力太弱,所以希望好心人能给一份相应的python代码(其他语言编写的能运行的也可),在线等,急求!

python爬虫手机验证怎样解决

python写的爬虫,登陆需要手机验证,有没有大神有什么解决方法,具体点的,,求助

python 反反爬虫策略之js动态加密url破解

这次这个爬虫废了我好几天时间,第一次遇到js反爬虫策略,瞬间被打趴下了。不过研究了好几天之后终于是搞定了,求助的一个朋友,最后的原理我可能也不是太清楚,写下来,记录一下,有遇到类似问题的可以参考一下。 ...

如何用python爬取多个网页的logo?

目前只会爬一个网页。想请教大神: 1.每个网页的logo在代码中的表达形式不一样,怎么一下子考虑到所有网页呢? 2.有些logo存在css中,这要怎么爬? 求助!!

python str.format与制表符\t关于中文对齐的细节问题

写了一个练手的爬虫...在输出的时候出现了让人很不愉♂悦的问题 像这样: 令人十分难受啊! #------------------------------------------------------------------------------------------------- 在此...

运行爬虫时遇到的Traceback (most recent call last):求解决

求助,在运行python爬虫时出现了这么一段报错,求解决 Traceback (most recent call last): File "e:\program files (x86)\microsoft visual studio\shared\python36_64\lib\runpy.py", line 193, in _run_module_...

抓取网络数据-----爬虫

大概需求:要用java编写:到某个网站上抓取网络上页面的数据到本地,然后插入到数据库里面去,比如:...附加----插入到数据库里面的代码已经做好了,主要是到网站上抓取页面的数据到本地来不会做,没有思路!求助啊....

Python初学者(零基础学习PythonPython入门)书籍、视频、资料、社区推荐

Python初学者(零基础学习PythonPython入门)书籍、视频、资料、社区推荐   本文 主要 针对 零基础 想学习Python者。本文本文由@史江歌(shijiangge@gmail.com QQ:499065469)根据互联网资料收集整理而成...

爬虫总是返回空值

代码描述:这是一个爬取猫眼电影top100的爬虫 import requests import re def get_html(url): kv = { ‘User-Agent’:’ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome...

求助python 解析爬取的网页源码中的json部分

爬下来的网页源码有一部分是这样的 : !...中间那一部分是json吧?要怎么才能解析成像浏览器那样的好继续抓取所要的信息? ...。。也使用过json.load()来解析,不想显示错误“没有可以解析的json对象”。...

求助!用scrapy爬虫,未全部爬完就停止

用scrapy框架爬取58.com获取一些地产数据,前期不用代理ip,本机ip爬取,页面返回滑块+点击验证码,手动解决验证码后再次爬取成功,且速度快,但很low.于是购买快代理私密IP,伪装user agent后进行爬取(没有禁cookies,...

求助,如何使用Python3 抓取ASPX网站中翻页URL不改变的网页内容呢?求指导!谢谢!

1、目标网站: URL:http://ggzy.ycsp.gov.cn/front/showinfo/moreinfo_search.aspx?categoryNum=010&type=001 2、需要抓取内容区域: ...不知道如何抓取,希望大神指导一下思路!谢谢!最好能给个小样!谢谢!

介绍一位零基础学Python网络爬虫的工程师

今天给大家推荐一位软件开发工程师兼Python网络爬虫与数据分析爱好者,它是「Python爬虫与数据挖掘」公众号号主Python进阶者。他系一名软件开发工程师,在工作之余,热爱P...

几条学习python的建议

熟悉python语言, 以及学会python的编码方式. 熟悉python库, 遇到开发任务的时候知道如何去找对应的模块. 知道如何查找和获取第三方的python库, 以应付开发任务. 学习步骤 安装开发环境 如果你在window下, 去下载...

Python如何实现多线程与多进程的配合工作?

/usr/bin/env python #coding=utf8 import multiprocessing import threading import threadpool import time import re import os ''' 想法: 开启了11个进程,第一个进程是以多线程方式运行,再通过进程间通信来...

相关热词 c# 指定打印机名称 c# 在调试窗口输出信息 c# 点对点即时通讯 c#判断数字是否为空 c# 小端 浮点数 c# typeof返回值 c#初始化字符串 c#dataset用法 c#实现凝聚层次聚类 c#最简单线程