python爬虫，登陆页生成验证码

xiaokcsdn 2017-05-06 02:48:24

我的思路是：
1.用build_opener访问登陆页，获取表单内容
2.用保存了cookie的opener，访问验证吗的url，保存在本地，识别后填写好表单，然后提交
3.查看response.url发现还是在login页面，没有如愿地到达index页面

注：表单在登陆页有js验证（不知道是不是这个的原因）
感谢老铁过目，先谢谢啦

...全文

169 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

屎克螂 2017-05-08

打赏
举报

回复

import requests s = requests.session() s.get('验证码') s.post('登入')

如果直接从生成验证码的页面把验证码下载到本地后识别，再构造表单数据发送的话，会有一个验证码同步的问题，即请求了两次验证码，而识别出来的验证码并不是实际需要发送的验证码。有如下几种方法解决。法1: 用session： mysession = requests.Session() login_url = 'http://xxx.com' checkcode_url='http://yyy.com' html = mysession.get(login_url,timeout=60*4) #....balabala解析操作.... checkcode = mysession.get(checkc

很多网站为了避免被恶意访问，需要设置验证码登录，避免非人类的访问，Python爬虫实现验证码登录的原理则是先到登录页面将生成的验证码保存下来，然后人为输入后，包装后再POST给服务器，实现验证，这里还涉及到了Cookie，其实Cookie保存在本地主机上，避免用户重复输入用户名和密码，在连接服务器的时候将访问连接和Cookie组装起来POST给服务器。这里涉及到了两次向服务器POST，一次是Cookie,这里还自行设计想要Cookie的内容，由于是要登录，Cookie中存放的则是用户名和密码。第二次POST则是向服务器提交验证。这里用到Python3,主要用到的包是re urllib.r

早听说用python做网络爬虫非常方便，正好这几天单位也有这样的需求，需要登陆XX网站下载部分文档，于是自己亲身试验了一番，效果还不错。本例所登录的某网站需要提供用户名，密码和验证码，在此使用了python的urllib2直接登录网站并处理网站的Cookie。 Cookie的工作原理： Cookie由服务端生成，然后发送给浏览器，浏览器会将Cookie保存在某个目录下的文本文件中。在下次请求同一网站时，会发送该Cookie给服务器，这样服务器就知道该用户是否合法以及是否需要重新登录。 Python提供了基本的cookielib库，在首次访问某页面时，cookie便会自动保存下来，之后访问其

本书讲解了如何使用P川lOil来编写网络爬虫程序，内容包括网络爬虫简介，从页面中抓取数据的三种方法，提取缓存中的数据，使用多个线程和进程来进行并发抓取，如何抓取动态页面中的内容，与表单进行交互，处理页面中的 验证码 问题，以及使用 Sca rpy 和 Portia 来进行数据抓取，并在最后使用本书介绍的数据抓取技术对几个真实的网站进行了抓取。

系统版本： CentOS 7.4 Python版本： Python 3.6.1 在现在的WEB中，为了防止爬虫类程序提交表单，图片验证码是最常见也是最简单的应对方法之一。 1.验证码图片的生成在python中，图片验证码一般用PIL或者Pillow库实现，下面就是利用Pillow生成图片验证码的代码： #!/usr/bin/env python3 #- * -coding: utf - 8 - * -#@Author: Yang#@ Time: 2017 / 11 / 06 1: 04 import random from PIL import Image, ImageDraw, I

37,721

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章