求助爬虫技术

2019-01-10 07:34:58 135 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

什么是网络爬虫又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网络爬虫可以根据指定的规则，从互联网上下载网页、图片、视频等内容，并抽取其中的有用信息进行处理。网络爬虫的工作流程包括获取网页源代码、解析网页内容、存储数据等步骤。根据其目的和工作方式的不同，网络爬虫可以分为多种类型。常见的网络爬虫包括通用爬虫、聚焦爬虫、增量式爬虫等。阅读详情

需要抓取到来自淘宝、天猫、京东、苏宁4个电商平台的宝贝评论、售价数据
需要抓取到每一个宝贝下的用户评论内容，具体内容包含：
1.用户昵称：抓取到每一个评论用户的昵称，如匿名评论，抓取星号代替
2.会员等级：抓取到每一个评论用户对应的会员等级
3.评价时间：抓取到每一个评论的发布时间
4.颜色分类：抓取到每一个评论中对应的产品颜色分类
5.评论内容：抓取到每一个评论中对应的文字内容以及图片内容
——————————
需要抓取到来自大众点评、饿了么、美团外卖的宝贝评论数据
需要抓取到每一个宝贝下的用户评论内容，具体内容包含：
1.用户昵称：抓取到每一个评论用户的昵称，如匿名评论，抓取星号代替
2.会员等级：抓取到每一个评论用户对应的会员等级
3.评价时间：抓取到每一个评论的发布时间
4.点评打分：抓取到每一个评论中对应的店铺打分分数
5.评论内容：抓取到每一个评论中对应的文字内容以及图片内容
——————————
需要抓取到来自小红书的笔记数据
需要根据关键词，抓取到这个关键词下的笔记本内容，具体内容包含：
1.抓到笔记的内容，发笔记的用户头像、昵称
2.笔记的点赞评论收藏数字
——————————-