小白在写一段python爬虫时，遇到的cookie问题

蔚蔚蔚_蓝天 2018-07-30 03:28:15

写一段脚本测试微博cookie登录，headers中不加cookie这段代码便显示‘UnicodeDecodeError: 'utf-8' codec can't decode byte 0xca in position 339: invalid continuation byte’，如果加上在headers中加上cookie就没有此类编码问题，这是为什么

...全文

356 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

蔚蔚蔚_蓝天 2018-08-02

打赏
举报

回复

不加cookie应该也可以返回信息，因为Request中没设cookie，主要是没明白不加cookie为什么字符错误，加上后没问题

jeky_zhang2013 2018-08-01

打赏
举报

回复

可以用chardet模块检测下返回的编码

oyljerry 2018-07-30

打赏
举报

回复

header中应该需要cookie

半吊子Py全栈工程师 2018-07-30

打赏
举报

回复

微博你不加cookie是登录不了的，应该是成功登录的返回的是utf-8的编码的数据，未成功返回的是gbk吧，
建议你使用requests

本课程使用Python3作为编程语言，主要内容包括Python爬虫的基本原理，编写简单的爬虫，使用爬虫从百度下载比基尼美女图片、beautiful soup的详细使用方法，如何使用beautiful soup分析html代码，基于队列的爬虫、数据存储、数据拆分、爬虫限速、网页跟踪等技术。本课程也是《Python爬虫实战》套餐的重要课程。任务作业：请在当当网上抓取《Python从菜鸟到高手》一书的相关信息，图书地址：http://product.dangdang.com/25333314.html 。需要通过Beautiful Soup分析图书页面的代码。并解析出图书排名、图书作者、图书评论数和图书的ISBN，然后将这些信息输出的Python控制台。（注意：作业需写在CSDN博客中，请把作业链接贴在评论区，老师会定期逐个批改~~）

记录一下我自己从零开始写python爬虫的心得吧！我刚开始对爬虫不是很了解，又没有任何的计算机、编程基础，确实有点懵逼。从哪里开始，哪些是最开始应该学的，哪些应该等到有一定基础之后再学，也没个清晰的概念。因为是 Python 爬虫嘛，Python 就是必备的咯，那先从 Python 开始吧。于是看了一些教程和书籍，了解基本的数据结构，然后是列表、字典、元组，各种函数和控制语句（条件语句、循环语句）。

爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。① Python所有方向的学习路线图，清楚各个方向要学什么东西② 600多节Python课程视频，涵盖必备基础、爬虫和数据分析③ 100多个Python实战案例，含50个超大型项目详解，学习不再是只会理论④ 20款主流手游迫解爬虫手游逆行迫解教程包⑤爬虫与反爬虫攻防教程包，含15个大型网站迫解⑥爬虫APP逆向实战教程包，含45项绝密技术详解⑦ 超300本Python电子好书，从入门到高阶应有尽有⑧ 华为出品独家。

大家在日常生活中经常需要查找不同的事物的相关信息，今天我们利用python来实现这一个小功能，同时呢，也是大家对基础知识的一个综合实践，相信有不少小伙伴已经准备跃跃欲试了，话不多说，开干！urllib库是Python的标准库，提供了一系列用于操作URL的功能，其大部分功能与requests库类似，也有一些特别的用法。

如今，做跨境电商与海外社媒的从业者可谓是越来越多了，若想采集海外的相关数据，基本上是离不开爬虫的，很多小白都是不太了解这一块内容的，并且网络爬虫基本上是要使用python语言的，所以这里我就来讲讲用python爬虫要怎么学，以及分为几个步骤。

37,719

社区成员

34,238

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章