基于网络爬虫的新闻推送系统

Skyflam 2021-10-25 10:18:05

利用网络爬虫技术获取各个网站中的科技文章,在分析评估文章价值之后分类推送

...全文
977 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
peaceyo 2021-11-01
  • 打赏
  • 举报
回复

第七周之前我们主要完成了原型的创建以及需求文档的编写,参考了一些推送科技新闻的网站。
第七周小组计划:
1、完成数据库的搭建以及CDM、PDM、数据库文档的编写
2、实现前后端简单连接尝试,实现前后端静态数据的传递
3、前后端约定函数接口
4、基本实现爬虫功能
5、团队集中线下编程

  • 打赏
  • 举报
回复

基本情况:
本系统主要为在各个网站利用爬虫技术获取科技文章,分析文章价值后分类别进行推送。
系统功能:
本系统主要实现管理员设置爬虫网站->选择文章推送,同时管理员可以对文章进行删除、新闻分类、置顶文章、打标签、取消发布、手动添加新闻、统计分析。 用户端接收管理员选好的推送文章。
第六周小组计划:
1.暂时确定好需求细节和原型
2.完成需求文档书写
3.前后端约定函数接口,后端完成部分函数接口,同时实现前后端的简单连接
4.了解关于项目核心技术的相关知识
5.团队进行集中线下编程。

Python实现的基于Scrapy爬虫框架和Django框架的新闻采集和订阅系统 摘要 随着互联网的迅速发展,互联网大大提升了信息的产生和传播速度,网络上每天都会产生大量的内容,如何高效地从这些杂乱无章的内容中发现并采集所需的信息显得越来越重要。网络中的新闻内容也一样,新闻分布在不同的网站上,而且存在重复的内容,我们往往只关心其中的一部分新闻网络中的新闻页面往往还充斥着大量许多与新闻不相关的信息,影响了我们的阅读效率和阅读体验,如何更加方便及时并高效地获取我们所关心的新闻内容,本系统能够帮我们做到这一点。本系统利用网络爬虫我们可以做到对网络上的新闻网站进行定时定向的分析和采集,然后把采集到的数据进行去重,分类等操作后存入数据库,最后提供个性化的新闻订阅服务。考虑了如何应对网站的反爬虫策略,避免被网站封锁爬虫。在具体实现上会使用Python配合scrapy等框架来编写爬虫,采用特定的内容抽取算法来提取目标数据,最后使用Django加上weui来提供新闻订阅后台和新闻内容展示页,使用微信向用户推送信息。用户可以通过本系统订阅指定关键字,当爬虫系统爬取到了含有指定关键字的内容时会把新闻推送

149

社区成员

发帖
与我相关
我的任务
社区描述
湖南大学《软件需求工程》课程教学、学习、交流社区。
需求分析规格说明书软件工程 高校 湖南省·长沙市
社区管理员
  • 老辣椒
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

软件需求工程课程教学与学习交流社区

试试用AI创作助手写篇文章吧