from bs4 import BeautifulSoup
url='http://www.xiachufang.com/explore/'
res=requests.get(url)
print(res.status_code)
返回404，但是这个网页我可以打开，哪位大神告诉我一下问题该怎么解决
谢谢
-
本版专家分：0结帖率 100% -
import requests
from bs4 import BeautifulSoup
url='http://www.xiachufang.com/explore/'
res=requests.get(url)
print(res.status_code)
返回404，但是这个网页我可以打开，哪位大神告诉我一下问题该怎么解决
谢谢展开阅读全文
-
本版专家分：0
-
麻烦大家了。。。
-
本版专家分：60
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
基本网站都要加个请求头，直接被识别为爬虫，肯定搞不到数据
headers={
'user-agent':'Mozilla/5.0'
}
res=requests.get(url=url,headers=headers)
-
本版专家分：642
-
- 技术圈认证 用户完成年度认证，即可获得
-
- 签到王者 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- GitHub 绑定GitHub第三方账户获取
-
-
可以看我的这篇文章，
文章链接为：https://blog.csdn.net/qq_45404396/article/details/105965562
-
本版专家分：729
-
- 签到达人 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
网站一眼就认出你不是人，然后大威天龙
- 常见爬取网页报错总结
1.爬取网页报错提示状态码404，可是在浏览器里可以打开网页 这种情况是服务器同时返回200与404的状态码，抓包可以看到有404与200。浏览器访问时，有200不会影响访问，而爬虫程序获取该url的回执状态码404与200，...
- python3 爬取网页的异常处理
有时候python爬取的网页会出现异常，我们需要添加异常处理 我们主要说明一下URLError和HTTPError 参考博客：点击打开链接 URLError 首先解释下URLError可能产生的原因： 网络无连接，即本机无法上网 ...
- python爬取网页时返回http状态码HTTP Error 418以及如何查看自己的User-Agent
问题描述：当我使用Python的request爬取网页时返回了http状态码为418, 错误描述：经过网上查询得知，418的意思是被网站的反爬程序返回的，网上解释为，418 I’m a teapot The HTTP 418 I’m a teapot client error ...
- python爬取，响应状态正确，但是解析不出内容
由于状态码为200，所以考虑正则表达式是否合理。由于网页源代码中有大量的换行符，一开始匹配用的是[\s\S]*?，并没有考虑所要获取的内容基本都是独一行，所以精简后的正则在获取内容时用(.*?)。再次执行程序，结果就...
- Python 爬取需要登陆的网页的信息
Python 爬取需要登陆的网页的信息登入网页方式1 Cookie2 Selenium 自动登录法代码实现及解释登入网页登入网页后爬取菜单下的网页的信息保存爬取的信息全部代码 登入网页方式 1 Cookie 登入网页后，按F12-选择network...
- Python 爬取单个网页所需要加载的地址和CSS、JS文件地址
Python 爬取单个网页所...而我从测试的角度去使用Python爬虫，希望爬取到访问该网页所需要的CSS、JS、URL，然后去请求这些地址，根据响应的状态码判断是否都可以成功访问。代码''' Created on 2017-08-02 @author: Lebb
- Python 爬虫爬取一个网站的时候成功，但爬取多个网站就404
第一张图我是把txt文件中第一个网址拿出来，然后保存图片成功，但是当我读取txt文件，准备开始批量爬取的时候（图二），状态码为404，单独爬取一个网站的时候没问题，一放在多个网站中就报错，怎么办？
- 使用JavaPython爬取网页包括js文件,css文件和图片
为什么要爬取数据： 在大数据时代,我们要获取更多数据,就要进行数据的挖掘、分析、筛选,比如当我们做一个项目的时候,需要大量真实的数据的时候,就需要去某些网站进行爬取,有些网站的数据爬取后保存到数据库还不能够...
- Python爬取猪八戒网站
爬取猪八戒网站，方便你接单； 1.下面是猪八戒为托管的单的链接 url="https://task.zbj.com/?s=2&so=2&ss=0" #为托管的连接 url_2="https://task.zbj.com/page2.html?s=2&so=2&ss=0" #第二页的连接 ...
- 用Python抓取全站中的404错误
2019独角兽企业重金招聘Python工程师标准>>> ...
- 案例爬取（其二）:Error:11004、状态码200但是返回None——自己坑自己的步骤
第二步：进行具体正文的提取，此时不止出现前面的代理问题：Error:10060,还时长出现Error:11004,和返回None 简直一脸懵逼，他妈的又全是英文，还不仅python错误，连...但是进行遍历提取时却是状态码200 和返回No...
- 利用python爬取网易云音乐，并把数据存入mysql
利用python爬取网易云音乐，并把数据存入mysql图片源自网络作者sergiojune如需转载，请联系原作者授权。在简单学习了python爬虫后，又想继续折腾，进而找到了这个网易云音乐，因为本人平时就是用它听的歌，也喜欢看...
- 用python爬取知识星球
所以就试着用python爬取了知识星球的内容。 这个过程又学习了一些新的知识，已经在代码中以批注的形式写出。但还有一个没有解决的问题，就是一个提问底下可以跟好几个评论，我暂时还不能在输出结果里...
- python爬取网易云音乐
正式进入主题首先还是去找目标网页并开始分析网页结构，如下上面的三个箭头都是所要找的数据，分别是评论用户，评论和点赞数，都可以用正则表达式找出来，接下来继续找怎样找到下一页的数据，还是用开发者...
- Python爬虫教程-12-爬虫使用cookie爬取登录后的页面(人人网)（上）
Python爬虫教程-12-爬虫使用cookie（上） ·爬虫关于cookie和session，由于http协议无记忆性，比如说登录淘宝网站的浏览记录，下次打开是不能直接记忆下来的，后来就有了cookie和session机制。 Python爬虫爬取登录...
- Python爬取笔趣阁小说
可以看至今为止最受欢迎的各类大片，今天我们走进小说阅读的世界，对于爱看小说又不想花钱的你，这可是大大的福利，先牛刀小试一下，我们爬取一部小说，这次代码也是大叔自己独立完成的，中间出现了许多问题，但是都...
- 2019全国大学生数学建模竞赛C题原版优秀论文
2019全国大学生数学建模竞赛C题原版优秀论文，PDF原版论文，不是图片合成的，是可编辑的文字版。共三篇。 C044.pdf C137.pdf C308.pdf
- EndNoteX9 汉化+原版_破解版安装包
EndNote X9最新版，包括汉化版本和原版本，汉化方法： 1、双击[ENX9Inst.msi]安装EndNote X9，安装时选择试用，安装完成后不要运行EndNote； 2、如果想使用汉化版，可以将CHS文件夹里的[EndNote.exe]拷贝到EndNote的安装目录下，替换原文件即可汉化、破解。 3、如果想使用英文版，可以将ENG文件夹里的[EndNote.exe]拷贝到EndNote的安装目录下，替换原文件即可直接破解。 注意：不论用的是英文版还是中文版，替换之后即可破解，无需输入序列号。
- 数据结构基础系列(6)：树和二叉树
数据结构课程是计算机类专业的专业基础课程，在IT人才培养中，起着重要的作用。课程按照大学计算机类专业课程大纲的要求，安排教学内容，满足需要系统学习数据结构的人。系列课程包含11个部分，本课为第6部分“树和二叉树”，介绍树的相关概念和表示方法，重点是二叉事的性质、存储结构、遍历等基本操作的实现，以及应用基本操作解决问题的方法。 系列课程的目标是帮助学习者系统掌握数据结构课程的相关知识，具备利用这些知识分析问题、解决问题的能力。本课是系列课程中的第6部分，具体目标包括：掌握树的相关概念和表示方法；掌握二叉树的概念、性质；重点掌握二叉树的存储结构，以及基本运算和各种遍历算法的实现；掌握线索二叉树、哈夫曼树的相关算法；学会运用二叉树解决综合应用问题。
- JavaWEB商城项目(包括数据库)
功能描述:包括用户的登录注册,以及个人资料的修改.商品的分类展示,详情,加入购物车,生成订单,到银行支付等!另外还有收货地址的和我的收藏等常用操作.环境(JDK 1.7 ,mysql 5.5,Eclipse mars2 ).