2023软工K班个人编程任务

在Github仓库中新建一个学号为名的文件夹，同时在博客正文首行给出作业Github链接。

https://github.com/zztt111/102102141

一、PSP表格

(2.1)在开始实现程序之前，在附录提供的PSP表格记录下你估计将在程序的各个模块的开发上耗费的时间。

(2.2)在你实现完程序之后，在附录提供的PSP表格记录下你在程序的各个模块上实际花费的时间。

二、任务要求的实现

(3.1)项目设计与技术栈。从阅读完题目到完成作业，这一次的任务被你拆分成了几个环节？你分别通过什么渠道、使用什么方式方法完成了各个环节？列出你完成本次任务所使用的技术栈。

一共分成了三步，分别是数据爬取，数据分析，以及数据可视化。其中数据爬取是通过哔哩哔哩上的视频和搜索CSDN上的前辈做过类似事件的代码，学习并运用到自己的代码中，数据分析和数据可视化是CSDN和python的jieba和word cloud完成的。主要使用的技术是python，主要使用的库有parse，requests，json，jieba ，wordcloud，re，matplotlib.pyplot等。

(3.2)爬虫与数据处理。说明业务逻辑，简述代码的设计过程（例如可介绍有几个类，几个函数，他们之间的关系），并对关键的函数或算法进行说明。

从指定视频中获取弹幕，并将其添加到弹幕列表中，同时更新爬取进度。需要传入一个锁对象 lock 来保证在操作共享资源时的线程安全性。

(3.3)数据统计接口部分的性能改进。记录在数据统计接口的性能上所花费的时间，描述你改进的思路，并展示一张性能分析图（例如可通过VS /JProfiler的性能分析工具自动生成），并展示你程序中消耗最大的函数。

(3.4)数据结论的可靠性。介绍结论的内容，以及通过什么数据以及何种判断方式得出此结论

通过这次爬虫得到的大部分数据显示，网友对于日本排放核污水的态度是坚决反对的，并且希望保护我们的大海。

(3.5)数据可视化界面的展示。在博客中介绍数据可视化界面的组件和设计的思路。

通过jieba分词，再通过wordcloud来形成词云图。

三、心得体会

(4.1)在这儿写下你完成本次作业的心得体会，当然，如果你还有想表达的东西但在上面两个板块没有体现，也可以写在这儿~

很难得任务，完全不会爬虫，python 也忘的差不多了，从零开始学爬虫，虽然最后爬出来了，但是还是在CSDN看了很多前辈的代码的基础上艰难完成的，收获很多。