基于springboot的精品小说网站系统源码带爬虫.zip下载

weixin_39821620 2023-09-13 13:30:40
基于springboot的精品小说网站系统源码带爬虫.zip , 相关下载链接:https://download.csdn.net/download/2301_78008478/88268748?utm_source=bbsseo
...全文
7 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
【资源说明】 基于SpringBoot快速开发的爬虫项目源码+项目使用说明+sql数据库.zip 基于SpringBoot快速开发的爬虫项目源码+项目使用说明+sql数据库.zip 基于SpringBoot快速开发的爬虫项目源码+项目使用说明+sql数据库.zip 1、该资源内项目代码都是经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能。 1 项目简介 1.1 功能介绍 基于WebMagic-0.7.3开源框架实现的爬虫项目 基于SpringBoot框架搭建 支持爬取主流新闻网站的新闻数据 支持爬取东方财富网A股所有股票250日行情,数据量达到100万 支持自动更新数据 支持CCTV欧洲杯2020比赛数据爬取 1.2 数据落库位置 新闻数据存储在MongoDB 股票数据存储在MySQL的stock数据库 1.3 目前支持爬取网站: 新闻 腾讯新闻 凤凰资讯 股票 东方财富 个股信息 东方财富 k线信息 东方财富 交易日信息 东方财富 新股信息 竞技赛事 CCTV 欧洲杯2020赛事 2 使用说明 2.1 数据库准备 1. 准备有效MongoDB、MySQL数据库,并配置到resources/application-dev.yml 2. 初始化数据库 mongoDB脚本:doc/mongoDB.sql MySQL脚本:doc/stock.sql 2.2 启动程序 1. 执行 src/test/java/com/aposs/box/spider/domain/stock/StockTest.java 的 runStockInfoSpiderTest 方法,即可爬取A股所有股票清单 2. 从com.aposs.box.spider.BoxSpiderApplication类启动项目,即可启动服务定时爬取A股行情 2.3 爬取股票数据说明 2.3.1 初始化 tbl_stock_info 表 开始爬取股票k线数据前,需要确认tbl_stock_info表有数据,因为程序是依赖此表中的股票数据执行爬取任务的; 初始化或更新 tbl_stock_info 表的数据入口为: > com.aposs.box.spider.service.StockSpiderService.runStockInfoSpider 也可以选择执行 doc/tbl_stock_info.sql 脚本初始化 tbl_stock_info 表数据,但是可能漏掉新股 2.3.2 爬取A股所有股票250日行情 以下方法为爬取入口为,传入参数 250 即可开始爬取所有股票250日行情 > com.aposs.box.spider.service.StockSpiderService.runKlineSpider(java.lang.Integer) 2.4 通用爬虫(包括各种赛事、新闻爬取) 1. 初始化爬虫元数据表 tbl_spider_mate_data(数据库脚本:doc/tbl_spider_mate_data.sql) 2. 启动项目即可自动爬取相关数据到mongoDB对应的集合中(集合名称为{spider_name})

13,654

社区成员

发帖
与我相关
我的任务
社区描述
CSDN 下载资源悬赏专区
其他 技术论坛(原bbs)
社区管理员
  • 下载资源悬赏专区社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧