火狐浏览器怎么自动保存请求头信息，cookie信息到本地文件，以便爬虫读取里边的参数

坦桑尼亚奥杜威峡谷能人

新星创作者: 软件测试技术领域

2018-06-08 05:35:21

火狐浏览器怎么自动保存请求头信息，cookie信息到本地文件，以便爬虫读取里边的参数

...全文

906 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

天痕坤 2018-06-10

打赏
举报

回复

鼠标右键点击检查所有元素，点击存储，cookie出现啦，点击本地存储

1 urllib模块 1.1 urllib模块简介 Python3中将urib与urllib2模块的功能组合，并且命名为urllib。Python3中的urllib模块中包含多个功能的子模块，具体内容如下。 urllib.request：用于实现基本HTTP请求的模块。 urlb.error：异常处理模块，如果在发送网络请求时出现了错误，可以捕获的有效处理。 urllib.parse：用于解析URL的模块。 urllib.robotparser：用于解析robots.txt文件，判断网站是否可以

#_*_ coding:UTF-8 _*_ import cookielib import urllib2 import sys reload(sys) sys.setdefaultencoding('utf-8')cookie=cookielib.MozillaCookieJar() cookie.load('cookie.txt',ignore_expires=True,ignore_disca

最近在写一个爬虫，需要爬取京东的商品信息。本来第一天还爬的好好的，第二天就提示要登录才能进去搜索页面了。上网找的办法是添加cookie来实现自动登录。我写了一个程序，使用selenium+chrome，先手动登录一次之后，把Cookie保存到数据库里，然后当需要登录时，自动从数据库里面读取cookie，并设置上去。网上的代码大都是这样，但是事实证明这是不行的，没法登陆上去。直到我看到一篇文章之后，才意识到，可能是因为cookie里面有些内容需要被替换，才能继续使用，于是我就加了一个重新构造coo

爬虫请求头网页获取：通过urlopen来进行获取requset.urlopen(url,data,timeout)第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。第二三个参数是可以不传送的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT第一个参数URL是必须要加入的，执行ur...

如果我们在跑自动化程序之前，已经登录了某个网站，那么，我们就可以跳过输入用户名、密码以及验证码的环节，直接读取浏览器中已经保存的cookie来访问网站，就可以顺利进去了。由于selenium启动某个浏览器时，它启动的是一个全新的浏览器，没有带任何cookie，所以我们必须添加一些代码，来让程序加载这些cookie。我们分别用chrome和firefox来操作，看看对应的实际代码是什么。...

37,743

社区成员

34,212

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章