import json
import os
import urllib
import urllib2
import cookielib
from scrapy.http import Request, FormRequest,HtmlResponse
from scrapy.selector import Selector
try:
from scrapy.spider import Spider
except:
from scrapy.spider import BaseSpider as Spider
from scrapy.utils.response import get_base_url
from scrapy.utils.url import urljoin_rfc
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from itzhaopin.items import *
from itzhaopin.misc.log import *
class TencentSpider(CrawlSpider):
name = "login_dingdian"
allowed_domains = ["23us.com"] #设定域名
start_urls = [
"http://www.23us.com/"
]
rules = [ # 定义爬取URL的规则
Rule(SgmlLinkExtractor(allow=("/modules/article/bookcase.php?")), follow=True, callback='parse_item')
]
headers = {
"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Encoding": "gzip,deflate",
"Accept-Language": "en-US,en;q=0.5",
"Connection": "keep-alive",
"Content-Type":" application/x-www-form-urlencoded",
"Referer": "http://www.23us.com/login.php?do=submit"
}
def start_requests(self):
return [Request("http://www.23us.com/login.php?do=submit",meta = {'cookiejar':1}, headers = self.headers,callback = self.post_login)]
#！！！！就是这句话，要是把cookiejar改成cookie或是直接整句话去掉程序就能运行成功
def post_login(self, response):
print '---------------Preparing login------------'
#登陆成功后, 会调用after_login回调函数
return [FormRequest.from_response(response,
meta={'cookiejar': response.meta['cookiejar']},#！！！！就是这句话，要是把cookiejar改成cookie或是直接整句话去掉程序就能运行成功
formdata = {
'username':'whtest',
'password':'******',
'usecookie':'2592000',
'action':'login',
'submit':' µÇ  Â¼ '
},
callback = self.after_login,
dont_filter = True,
)]
def after_login(self, response) :
for url in self.start_urls :
req = Request(url)
req.meta['cookiejar'] = response.meta['cookiejar']#！！！！就是这句话，要是把cookiejar改成cookie或是直接整句话去掉程序就能运行成功
return req
def parse_item(self, response): # 提取数据到Items里面，主要用到XPath和CSS选择器提取网页数据
print '----------------------------进入parse_item----------'
items = []
sel = Selector(response)
base_url = get_base_url(response)
sites_even = sel.css('table.grid')
for site in sites_even:
print "-----------------------进入循环进行内容挑选---------------------"
item = TencentItem()
item['name'] = site.css('td.even a[target="_blank"]').xpath('text()').extract()#css('.even').
item['updatechapter'] = site.css('td.odd a[target="_blank"]').xpath('text()').extract()
items.append(item)
print repr(item).decode("unicode-escape") + '\n'
return items
def _process_request(self, request):
return request
-
等级
本版专家分：0结帖率 66.67% -
[size=16px]如题，我想利用scrapy框架实现模拟登录一个小说网，然后爬下来我的书架里的一些数据（这个模块只有登录后才能看），一开始我在request里用meta传递'cookiejar'，然后一直是只能成功登录，但是一要抓取我的书架时就是出现302重定向的错误，我抓包发现是我抓取我的书架页面时没有把我的登录cookie信息传过去，所以程序想去抓取我的书架这个url时cookie还是登录之前的状态，所以什么也抓不到。后来我瞎改，把request里用meta传递'cookiejar'这一行里的cookiejar改成了cookie，居然运行成功了，我又试着直接把这个属性删了，还是能运行成功，但是网上的好多实例代码都是有这句话的，很不明白为什么，请大神指教。(用的python,在ubuntu环境下)[/size]
展开阅读全文
-
等级
本版专家分：0
-
顶顶。。。。。。
-
等级
本版专家分：50勋章
-
- 红花 2017年5月 Linux/Unix社区大版内专家分月排行榜第一
-
- 黄花 2015年9月 Linux/Unix社区大版内专家分月排行榜第二
-
-
这个到别的模块去提问吧@mymtom @Wenxy1
- 【笔记】scrapy 模拟登录Cookie没有起作用的问题
在用scrapy做模拟登录时，如果要使Request里的headers的cookie生效,settings需要设置COOKIES_ENABLED = False默认是TRUE，这样scrapy不会发送默认的cookies，而是发送你添加好的...
- 在scrapy上使用cookie模拟登录
下面的例子模拟登录知乎的个人设置页面设置代理池 scrapy + tor#安装tor sudo apt-get install tor sudo /etc/init.d/tor restart #重启服务 tor --hash-password mypassword #生成hash密码 sudo vim /etc/tor/torrc...
- Scrapy框架的学习(10.Scrapy中的模拟登陆(使用cookie模拟登陆))
2.使用cookie模拟登陆的场景 (1) cookie过期时间很长，常见于一些不规范的网站 (2) 能在cookie过期之前把搜有的数据拿到 (3) 配合其他程序使用，比如其使用selenium把登陆之后的cookie获取到，然后保存到...
- python3下使用scrapy实现模拟用户登录与cookie存储 —— 基础篇（马蜂窝）
python3下使用scrapy实现模拟用户登录与cookie存储 —— 基础篇（马蜂窝） 1. 背景 相关基础知识点回顾： python3下使用requests实现模拟用户登录（马蜂窝）： ...
- Python爬虫之scrapy模拟登陆
scrapy模拟登陆 学习目标： 应用 请求对象cookies参数的使用 了解 start_requests函数的作用 应用 构造并发送post请求 1. 回顾之前的模拟登陆的方法 1.1 requests模块是如何实现模拟登陆的？ 直接携带cookies...
- [Scrapy]模拟登陆并获取Cookie值
1.1使用Firefox或者Chrom浏览器F12，以Firefox登陆广工图书馆为例（该网址设计使用Cookie来记录登陆状态） 1.2登陆前 1.3登陆后 1.4根据登陆后可见POST方法的参数 __EVENTTARGET: __EVENTARGUMENT...
- 3_scrapy模拟登陆GitHub的两种方法
在爬虫文件中重构start_url方法,模拟登陆GitHub 先通过在网页中登陆自己的账号，获取cookies后 在start_url方法中构造请求对象携带cookies，传递给引擎再传给parse方法 import scrapy class GithubSpider(scrapy....
- 爬虫之scrapy模拟登陆
爬虫之scrapy模拟登陆 1. 回顾之前的模拟登陆的方法 1.1 requests模块是如何实现模拟登陆的？ 直接携带cookies请求页面 找url地址，发送post请求存储cookie 1.2 selenium是如何模拟登陆的？ 找到对应的input...
- 爬虫学习笔记13-scrapy模拟登陆
2、scrapy框架模拟登陆 （1）直接携带cookies（需要先登录上GitHub） 1）适用场景 ①cookie过期时间很长，常见于一些不规范的网站 ②能在cookie过期之前把所有的数据拿到 ③配合其他程序使用，比如其使用selenium把...
- SCRAPY模拟登陆链接重定向问题
scrapy模拟登陆不能抓取到数据 模拟登陆没有跳转到抓取页面 真实去登陆账号不能再次的登陆了 不知道问题出在哪里求大神解答 ``` # -*- coding: utf-8 -*- import scrapy from scrapy.http import Request,...
- scrapy模拟登陆人人网
首先我们简单分析下人人网的登录时的参数 其实最重要的就是form data的那部分，即我们在向人人网发送登录的POST请求时候必传的一些参数，一目了然的展现出来，其中有几个参数是固定的， email，origURL，domain，...
- scrapy中模拟登陆的三种实用方法
scrapy模拟登陆发送post请求 方式1（通过formdata参数） import scrapy import re class PostSpider(scrapy.Spider): name = 'post' allowed_domains = ['github.com'] start_urls = ['...
- Scrapy中用cookie模拟登陆新浪微博
最近想做一个微博的搜索页文本分析的小项目，因为开放平台里...一般模拟登陆有两种方式，一个是抓登陆时的包，然后模拟所需数据发送过去．由于新浪经常改参数和加密方式，这个方法费时费力．另一种就是直接发送cookie．
- scrapy 模拟登陆爬取豆瓣网收藏夹信息
Request Headers包括了请求头以及cookie：login_start_time=;bid= Form Data表单数据 由此可见，登陆豆瓣时，浏览器采用post方式发送一个request请求到https://accounts.douban.com/j/mobile/login/basic
- python爬虫框架scrapy实现模拟登录操作示例
主要介绍了python爬虫框架scrapy实现模拟登录操作,结合实例形式分析了scrapy框架实现模拟登陆操作的步骤、相关实现技巧与注意事项,需要的朋友可以参考下
- Scrapy 模拟登陆（验证码破解）
网上的一些案例比如模拟登陆豆瓣，其实已经不适用了因为验证码已经不是以前的那种看图输文字。这次我们以自己学校的教务网为案例，大家也可以去尝试一下 重点一 scarpy中的post提交:scrapy.FormRequest def ...
- 后台模拟页面登陆_Python爬虫框架scrapy模拟登陆
1. 回顾之前的模拟登陆的方法1.1 requests模块是...找到对应的input标签，输入文本点击登陆1.3 scrapy的模拟登陆直接携带cookies找url地址，发送post请求存储cookie2. scrapy携带cookies直接获取需要登陆后的页面应...
- scrapy模拟登录微博
这篇文章是介绍使用scrapy模拟登录微博，并爬取微博相关内容。关于登录流程为嘛如此设置，请参考[微博登录过程分析]。 截包分析 下载软件Fiddler for .NET2查看相关登录流程信息。运行python程序访问和直接在浏览器...
- 三种scrapy模拟登陆方式
注意：模拟登陆时，必须保证settings.py里的 COOKIES_ENABLED (Cookies中间件) 处于开启状态 COOKIES_ENABLED = True 或 # COOKIES_ENABLED = False 策略一：直接POST数据（比如需要登陆的账户信息) 只要是...
- 三十、scrapy模拟登陆
1. 回顾之前的模拟登陆的方法 1.1 requests模块是如何实现模拟登陆的？ 直接携带cookies请求页面 ...1.3 scrapy的模拟登陆 直接携带cookies 找url地址，发送post请求存储cookie scrapy携带cookies直接...
- scrapy 模拟登陆豆瓣
参考: https://blog.csdn.net/qq_37616069/article/details/80376807 # coding=utf-8 import scrapy class DoubanLogin(scrapy.Spider): name = 'douban' start_urls = 'https://www.douban.com/accounts...
- 使用scrapy进行模拟登陆三种方式
scrapy有三种方法模拟登陆方式：- 直接携带cookies - 找url地址，发送post请求存储cookie - 找到对应的form表单，自动解析input标签，自动解析post请求的url地址，自动带上数据，自动发送请求1、携带cookies登陆...
- python3 scrapy模拟登陆豆瓣
遇到的问题由于程序没有做后续的数据处理，所以没有用到pipelines，只在爬虫文件里编辑，在模拟浏览器时也将也将浏览器header写在db.py文件中，在知乎得到答案，USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS...
- 从零开始学习scrapy：一，使用scrapy模拟登录并获取页面数据
从零开始学习scrapy：一，使用scrapy模拟登录并获取页面数据 前言 本次需要获取数据的网址是 http://www.zimuzu.tv/today 这是登录情况下访问显示的界面 我们的目标是获取所有当天更新的美剧名字 假设 我们...
- scrapy之模拟登陆的三种方法
1. scrapy模拟登陆 我创建了一个scrapy项目，目的是获取github的cookie，然后对个人页面进行请求。此处创建3个爬虫文件，用3种方法分别实现。项目目录如图： 1.1 抓包获取cookie 适用于cookie生存时间较长的一些...
- 【重磅】SCRAPY+SELENIUM 模拟登陆CSDN
现如今我们能够叫出来名的网站对反爬虫做的很是到位，如知乎，知乎以前快被爬虫玩废了，现在知乎的登录做的很是复杂，一般人时模拟登陆不成功的，好在我们有selenium，这个东西是神器，基本上任何网站都能够破解，...
- 三、scrapy爬虫框架——scrapy模拟登陆
scrapy模拟登陆 学习目标： 应用 请求对象cookies参数的使用 了解 start_requests函数的作用 应用 构造并发送post请求 1. 回顾之前的模拟登陆的方法 1.1 requests模块是如何实现模拟登陆的？ 直接携带cookies...
- Scrapy模拟登陆豆瓣抓取数据
由于豆瓣网站是反爬虫的，因此要破解反爬虫和模拟登录，还有需要破解验证码。 1创建项目 （在pycharm中创建scrapy爬虫工程即可） scrapy startproject douban 其中douban是我们的项目名称 2创建爬虫文件 进入...
- 使用scrapy进行模拟登陆三种方式（转）
2018年06月06日 00:02:23 master_ning 阅读数：2117 标签： scrapy模拟dengl 更多 个人分类： 爬虫srcpay scrapy有三种方法模拟登陆方式： - 直接携带cookies - 找url地址，发送post请求存储...
- scrapy 保存cookie
from scrapy.http.cookies import CookieJar # 该模块继承自内置的http.cookiejar,操作类似 ...cookie_jar = CookieJar() real_cookie = {} # 首先是cookie的提取 class MySpider(scrapy.Spider): .... ......