2023软工K班个人编程任务

林钟涛102102141 2023-09-14 22:45:20

在Github仓库中新建一个学号为名的文件夹,同时在博客正文首行给出作业Github链接。

https://github.com/zztt111/102102141

一、PSP表格

(2.1)在开始实现程序之前,在附录提供的PSP表格记录下你估计将在程序的各个模块的开发上耗费的时间。
(2.2)在你实现完程序之后,在附录提供的PSP表格记录下你在程序的各个模块上实际花费的时间。
PSP2.1Personal Software Process Stages预估耗时(分钟)实际耗时(分钟)
· Planning· 计划1510
· Estimate· 估计这个任务需要多少时间3025
· Development· 开发180240
· Analysis· 需求分析 (包括学习新技术)120150
· Design Spec· 生成设计文档--
· Design Review· 设计复审--
· Coding Standard· 代码规范 (为目前的开发制定合适的规范)1515
· Design· 具体设计3020
· Coding· 具体编码6080
· Code Review· 代码复审2015
· Test· 测试(自我测试,修改代码,提交修改)2040
· Reporting· 报告3060
· Test Repor· 测试报告--
· Size Measurement· 计算工作量--
· Postmortem & Process Improvement Plan· 事后总结, 并提出过程改进计划3015
· 合计550670

二、任务要求的实现

(3.1)项目设计与技术栈。从阅读完题目到完成作业,这一次的任务被你拆分成了几个环节?你分别通过什么渠道、使用什么方式方法完成了各个环节?列出你完成本次任务所使用的技术栈。

一共分成了三步,分别是数据爬取,数据分析,以及数据可视化。其中数据爬取是通过哔哩哔哩上的视频和搜索CSDN上的前辈做过类似事件的代码,学习并运用到自己的代码中,数据分析和数据可视化是CSDN和python的jieba和word cloud完成的。主要使用的技术是python,主要使用的库有parse,requests,json,jieba ,wordcloud,re,matplotlib.pyplot等。

(3.2)爬虫与数据处理。说明业务逻辑,简述代码的设计过程(例如可介绍有几个类,几个函数,他们之间的关系),并对关键的函数或算法进行说明。

从指定视频中获取弹幕,并将其添加到弹幕列表中,同时更新爬取进度。需要传入一个锁对象 lock 来保证在操作共享资源时的线程安全性。

img


获取要求需要的弹幕

img

(3.3)数据统计接口部分的性能改进。记录在数据统计接口的性能上所花费的时间,描述你改进的思路,并展示一张性能分析图(例如可通过VS /JProfiler的性能分析工具自动生成),并展示你程序中消耗最大的函数。

img


消耗最大的函数

img

(3.4)数据结论的可靠性。介绍结论的内容,以及通过什么数据以及何种判断方式得出此结论

通过这次爬虫得到的大部分数据显示,网友对于日本排放核污水的态度是坚决反对的,并且希望保护我们的大海。

(3.5)数据可视化界面的展示。在博客中介绍数据可视化界面的组件和设计的思路。

img

通过jieba分词,再通过wordcloud来形成词云图。

三、心得体会

(4.1)在这儿写下你完成本次作业的心得体会,当然,如果你还有想表达的东西但在上面两个板块没有体现,也可以写在这儿~

很难得任务,完全不会爬虫,python 也忘的差不多了,从零开始学爬虫,虽然最后爬出来了,但是还是在CSDN看了很多前辈的代码的基础上艰难完成的,收获很多。

...全文
55 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

117

社区成员

发帖
与我相关
我的任务
社区描述
2023福州大学软件工程K班
软件工程 高校 福建省·福州市
社区管理员
  • kevinkex
  • Devil angel
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧