数据来源于百度百科,scrapy爬虫目录在scripts/univer/目录下 然后将数据存储到neo4j中 对问题进行解析 通过actree得到实体,关键字得到问题类型,给出答案。
使用步骤
1 环境,个人python3.6.8, centos系统(阿里云服务器)
pip install -r requirements.txt
2 建立neo4j数据库 docker启动方式
docker run -d --name neo4j --restart=always \
-p 7474:7474 -p 7687:7687 \
-v /opt/neo4j/data:/data \
-v /opt/neo4j/logs:/logs \
-v /opt/neo4j/conf:/var/lib/neo4j/conf \
-v /opt/neo4j/import:/var/lib/neo4j/import \
--env NEO4J_AUTH=neo4j/123456 neo4j
3 插入数据 数据来源:先找到了一个大学列表,然后在百度百科中进行爬取, 数据已存在于data/data2.csv
, 相关下载链接:
https://download.csdn.net/download/shiyunzhe2021/88275310?utm_source=bbsseo