2023软工K班个人编程任务

[102102141林钟涛]

在Github仓库中新建一个学号为名的文件夹，同时在博客正文首行给出作业Github链接。

https://github.com/zztt111/102102141

一、PSP表格

(2.1)在开始实现程序之前，在附录提供的PSP表格记录下你估计将在程序的各个模块的开发上耗费的时间。

(2.2)在你实现完程序之后，在附录提供的PSP表格记录下你在程序的各个模块上实际花费的时间。

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
· Planning	· 计划	15	10
· Estimate	· 估计这个任务需要多少时间	30	25
· Development	· 开发	180	240
· Analysis	· 需求分析 (包括学习新技术)	120	150
· Design Spec	· 生成设计文档	-	-
· Design Review	· 设计复审	-	-
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	15	15
· Design	· 具体设计	30	20
· Coding	· 具体编码	60	80
· Code Review	· 代码复审	20	15
· Test	· 测试（自我测试，修改代码，提交修改）	20	40
· Reporting	· 报告	30	60
· Test Repor	· 测试报告	-	-
· Size Measurement	· 计算工作量	-	-
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	30	15
	· 合计	550	670

二、任务要求的实现

(3.1)项目设计与技术栈。从阅读完题目到完成作业，这一次的任务被你拆分成了几个环节？你分别通过什么渠道、使用什么方式方法完成了各个环节？列出你完成本次任务所使用的技术栈。

一共分成了三步，分别是数据爬取，数据分析，以及数据可视化。其中数据爬取是通过哔哩哔哩上的视频和搜索CSDN上的前辈做过类似事件的代码，学习并运用到自己的代码中，数据分析和数据可视化是CSDN和python的jieba和word cloud完成的。主要使用的技术是python，主要使用的库有parse，requests，json，jieba ，wordcloud，re，matplotlib.pyplot等。

(3.2)爬虫与数据处理。说明业务逻辑，简述代码的设计过程（例如可介绍有几个类，几个函数，他们之间的关系），并对关键的函数或算法进行说明。

从指定视频中获取弹幕，并将其添加到弹幕列表中，同时更新爬取进度。需要传入一个锁对象 lock 来保证在操作共享资源时的线程安全性。

获取要求需要的弹幕

(3.3)数据统计接口部分的性能改进。记录在数据统计接口的性能上所花费的时间，描述你改进的思路，并展示一张性能分析图（例如可通过VS /JProfiler的性能分析工具自动生成），并展示你程序中消耗最大的函数。

消耗最大的函数

(3.4)数据结论的可靠性。介绍结论的内容，以及通过什么数据以及何种判断方式得出此结论

通过这次爬虫得到的大部分数据显示，网友对于日本排放核污水的态度是坚决反对的，并且希望保护我们的大海。

(3.5)数据可视化界面的展示。在博客中介绍数据可视化界面的组件和设计的思路。

通过jieba分词，再通过wordcloud来形成词云图。

三、心得体会

(4.1)在这儿写下你完成本次作业的心得体会，当然，如果你还有想表达的东西但在上面两个板块没有体现，也可以写在这儿~

很难得任务，完全不会爬虫，python 也忘的差不多了，从零开始学爬虫，虽然最后爬出来了，但是还是在CSDN看了很多前辈的代码的基础上艰难完成的，收获很多。