Java+python实现爬虫+大数据的招聘需求分析系统完整源码+项目说明.zip
【项目完成内容】
一、数据抓取
使用python的爬虫框架scrapy抓取51job网站的招聘信息并存入文件 (DataSpider)
二、大数据存储
编写java脚本使用HDFS API把数据上传到HDFS文件系统
三、大数据处理
使用Hadoop处理大数据 (BigDataHandler)
【备注】
主要针对计算机相关专业的正在做毕设的学生和需要项目实战的Java学习者。
也可作为课程设计、期末大作业。包含:项目源码、数据库脚本、项目说明等,该项目可以直接作为毕设使用。
也可以用来学习参考借鉴!
, 相关下载链接:
https://download.csdn.net/download/ma_nong33/88501511?utm_source=bbsseo