社区
Java
帖子详情
java 爬取cnvd 漏洞库
zls的故事
2017-11-27 09:41:33
求大神给个源码学习学习
...全文
243
回复
打赏
收藏
java 爬取cnvd 漏洞库
求大神给个源码学习学习
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
CNVD
Spider:使用js
爬取
CNVD
漏洞
库
共享数据Crawl
CNVD
shared vulnerabilities with js
CNVD
Spider Crawl
CNVD
shared vulnerabilities with js 完整教程查看 写论文需要用到的数据,然而,该页面有反爬机制,无法抓取全部数据,因此,使用js绕过反爬,实现效果如下: 可以直接到GitHub查看,欢迎留言点赞打赏提issue点star 环境 windows 10 Chrome浏览器 Sublime Text 3代码编辑器 前期准备 注册该网页账号并登陆即可 需求分析 首先,我们需要该
漏洞
库
的全部
漏洞
数据,但是,使用python书写爬虫会被反爬机制识别到,从而无法自动大量下载数据 这里,发现该网页有共享的 因此,我们考虑从这里做文章 然鹅,一个个点击下载也十分耗时,因此,考虑使用js脚本进行下载 这里有两个思路: 一是分别控制脚本挨个点击链接并翻页 二是直接请求每个链接获得数据 这里采用第二种思路,通过查看链接发现其均为https://
漏洞
库
:
爬取
CNVD
-国家信息安全
漏洞
共享平台
漏洞
库
近期工作中需要
爬取
整个
CNVD
的
漏洞
库
,之前写的爬虫是跑ICS.
CNVD
的
库
(见之前文章 工控安全:分享自己的工控爬虫项目—PySpider-ICS ),本以为改改就能用,没想到,
CNVD
主站有几道反爬虫机制,这里记录一下我的解决之法。初步分析首先,还是使用了我钟爱的爬虫框架——pyspider,但是写完之后,试了几次都只能获取十几个
漏洞
信息,然后就报错无法继续下...
java
爬虫
爬取
cnvd
,
CNVD
.py
'''该模块主要处理http://www.
cnvd
.org.cn功能包括:1.
漏洞
列表爬虫2.解析统计查询中的共享数据xml'''import osfrom queue import Queuefrom datetime import datetimeimport threadingimport requestsfrom bs4 import BeautifulSoupimport pandas ...
使用selenium
爬取
CNVD
最近需要
爬取
国家信息安全
漏洞
共享平台的数据,但是因为我太菜了,所以无论如何也无法绕过
CNVD
的反爬,所以只好使用selenium来绕过反爬了,虽然效率低,但也算爬下来了。 我用的代理是熊猫代理,主要是我需要的也不多,而且都是短效ip,所以买的熊猫代理2元1000的,也可以根据实际情况自行更改 代码写的非常乱,稍微测试了一下能用就直接爬了,越来越懒了 # -*- coding = utf-8 -*- # @Time : 2021/8/24 21:16 # @Author : DLT # @File : 分类爬
漏洞
库
:
爬取
CNNVD-国家信息安全
漏洞
库
CNNVD相对
CNVD
的
爬取
更简单一点,当前并未遇到明显的爬虫限制机制初步分析首先,还是使用我钟爱的爬虫框架——pyspider,选取first page作为起始页http://www.cnnvd.org.cn/web/vulnerability/querylist.tagCNNVD的页面只需要提交get请求即可递归访问到下一页下面进入到
漏洞
详情页,抓取需要的信息...
Java
50,523
社区成员
85,601
社区内容
发帖
与我相关
我的任务
Java
Java相关技术讨论
复制链接
扫一扫
分享
社区描述
Java相关技术讨论
java
spring boot
spring cloud
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章