scrapy模块 爬取douban网站遇到如下问题怎么解决

尼罗的撒哈拉 2018-07-05 05:35:00
import scrapy
from scrapy.http import Request,FormRequest

class DbSpider(scrapy.Spider):
name = 'db'
allowed_domains = ['douban.com']
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"}
'''
start_urls = ['http://douban.com/']
'''
def start_request(self):
return [Request('https://accounts.douban.com/login',
callback=self.parse,
meta={
'cookiejar':1
}
)]
def parse(self, response):
url='https://accounts.douban.com/login'
print('此时没有验证码')
data={
"form_email":"746337002@qq.com",
"form_password":"fydxxn2055",
"redir":"https://www.douban.com/people/180702197/",
}
print("登陆中")
return [FormRequest.from_response(response,
meta={"cookiejar":response.meta["cookiejar"]},
headers=self.header,
formdata=data,
callback=self.next,
)]



def next(self,response):
print("此时已经登录完成并爬取了个人中心的数据")
title=response.xpath('/html/head/title/text()').extract()
note=response.xpath('//div[@class="note"]/text()]').extract()
print(title[0])
print(note[0])


...全文
67 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
【资源介绍】 基于Django+PyEcharts实现游客行为分析系统可视化大屏源码+操作说明+sql数据库.tar 本项目Scrapy进行数据爬取,并使用Django框架+PyEcharts实现可视化大屏。效果如下 每个模块都有详情页,可以通过点击首页各个模块的标签,进行访问。 基于数据可视化的游客行为分析系统,包含以下几类图表: - 景点数量各区县分布地图 - 景点数量各区县分布图 - 景点评分分布图 - 景点浏览时间分布图 - 景点评论词云图 - 景点浏览人数占比分析 - 景点人数占比分析 - 景点评分数据排名 还有登录注册界面,可以自己注册账号。 ### 2、python库安装 本项目使用的python环境是3.8,Django4.0。(建议3.8及以上,不然可能装不了Django4) **这里以conda环境为例:** ```shell # 创建虚拟环境 conda create --name py38 python=3.8.13 # 激活环境 conda activate py38 # 安装库 pip install -i https://pypi.douban.com/simple -r requirements.txt ``` ### 3、MySQL部署 #### 3.1、创建库 ```shell # 创建数据库 create database hunan_web; # 使用数据库 use hunan_web; ``` 更多见说明文档 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途:项目具有较高的学习借鉴价值,也适用于小白学习入门进阶。当然也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行,或者热爱钻研,亦可在此项目代码基础上进行修改添加,实现其他不同功能。 欢迎下载,沟通交流,互相学习,共同进步!

3,423

社区成员

发帖
与我相关
我的任务
社区描述
其他开发语言 其他开发语言
社区管理员
  • 其他开发语言社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧