java 爬取cnvd 漏洞库

zls的故事 2017-11-27 09:41:33

求大神给个源码学习学习

...全文

274 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

CNVDSpider Crawl CNVD shared vulnerabilities with js 完整教程查看写论文需要用到的数据，然而，该页面有反爬机制，无法抓取全部数据，因此，使用js绕过反爬，实现效果如下：可以直接到GitHub查看，欢迎留言点赞打赏提issue点star 环境 windows 10 Chrome浏览器 Sublime Text 3代码编辑器前期准备注册该网页账号并登陆即可需求分析首先，我们需要该漏洞库的全部漏洞数据，但是，使用python书写爬虫会被反爬机制识别到，从而无法自动大量下载数据这里，发现该网页有共享的因此，我们考虑从这里做文章然鹅，一个个点击下载也十分耗时，因此，考虑使用js脚本进行下载这里有两个思路：一是分别控制脚本挨个点击链接并翻页二是直接请求每个链接获得数据这里采用第二种思路，通过查看链接发现其均为https://

【资源说明】基于scrapy的爬虫,爬取cnvd近3年漏洞详情,使用sqlalchemy存储数据资料齐全+文档详细.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用，也可作为毕业设计、课程设计、作业、项目初期立项演示等，当然也适合小白学习进阶。 4、如果基础还行，可以在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。欢迎下载，沟通交流，互相学习，共同进步！

爬取cnvd漏洞列表

# 基于Spring Boot和MyBatis Plus的系统监控与管理平台 ## 项目简介本项目是一个基于Spring Boot和MyBatis Plus框架开发的系统监控与管理平台。该平台集成了多种功能，包括用户管理、日志记录、系统信息监控、漏洞信息管理等，旨在提供一个全面的系统管理和监控解决方案。 ## 项目的主要特性和功能 1. 用户管理支持用户的增删改查操作，提供用户登录验证功能。 2. 日志记录自动记录系统操作日志，支持分页查询日志信息。 3. 系统信息监控实时获取并展示系统的CPU、内存、磁盘、进程等信息。 4. 漏洞信息管理从CNVD平台爬取漏洞信息，支持分页查询和存储。 5. Kafka消息处理集成Kafka消费者，处理网络流量日志。 6. 图形验证码提供图形验证码生成和验证功能，增强系统安全性。 ## 安装使用步骤 1. 环境准备确保已安装Java 8或更高版本。

'''该模块主要处理http://www.cnvd.org.cn功能包括:1.漏洞列表爬虫2.解析统计查询中的共享数据xml'''import osfrom queue import Queuefrom datetime import datetimeimport threadingimport requestsfrom bs4 import BeautifulSoupimport pandas ...

51,402

社区成员

85,919

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章