118
社区成员
发帖
与我相关
我的任务
分享2023软工K班个人编程任务
在Github仓库中新建一个学号为名的文件夹，同时在博客正文首行给出作业Github链接。
https://github.com/zztt111/102102141
一、PSP表格
(2.1)在开始实现程序之前，在附录提供的PSP表格记录下你估计将在程序的各个模块的开发上耗费的时间。
(2.2)在你实现完程序之后，在附录提供的PSP表格记录下你在程序的各个模块上实际花费的时间。
| PSP2.1 | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| · Planning | · 计划 | 15 | 10 |
| · Estimate | · 估计这个任务需要多少时间 | 30 | 25 |
| · Development | · 开发 | 180 | 240 |
| · Analysis | · 需求分析 (包括学习新技术) | 120 | 150 |
| · Design Spec | · 生成设计文档 | - | - |
| · Design Review | · 设计复审 | - | - |
| · Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 15 | 15 |
| · Design | · 具体设计 | 30 | 20 |
| · Coding | · 具体编码 | 60 | 80 |
| · Code Review | · 代码复审 | 20 | 15 |
| · Test | · 测试（自我测试，修改代码，提交修改） | 20 | 40 |
| · Reporting | · 报告 | 30 | 60 |
| · Test Repor | · 测试报告 | - | - |
| · Size Measurement | · 计算工作量 | - | - |
| · Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 30 | 15 |
| · 合计 | 550 | 670 |
二、任务要求的实现
(3.1)项目设计与技术栈。从阅读完题目到完成作业，这一次的任务被你拆分成了几个环节？你分别通过什么渠道、使用什么方式方法完成了各个环节？列出你完成本次任务所使用的技术栈。
一共分成了三步，分别是数据爬取，数据分析，以及数据可视化。其中数据爬取是通过哔哩哔哩上的视频和搜索CSDN上的前辈做过类似事件的代码，学习并运用到自己的代码中，数据分析和数据可视化是CSDN和python的jieba和word cloud完成的。主要使用的技术是python，主要使用的库有parse，requests，json，jieba ，wordcloud，re，matplotlib.pyplot等。
(3.2)爬虫与数据处理。说明业务逻辑，简述代码的设计过程（例如可介绍有几个类，几个函数，他们之间的关系），并对关键的函数或算法进行说明。
从指定视频中获取弹幕，并将其添加到弹幕列表中，同时更新爬取进度。需要传入一个锁对象 lock 来保证在操作共享资源时的线程安全性。
获取要求需要的弹幕
(3.3)数据统计接口部分的性能改进。记录在数据统计接口的性能上所花费的时间，描述你改进的思路，并展示一张性能分析图（例如可通过VS /JProfiler的性能分析工具自动生成），并展示你程序中消耗最大的函数。
消耗最大的函数
(3.4)数据结论的可靠性。介绍结论的内容，以及通过什么数据以及何种判断方式得出此结论
通过这次爬虫得到的大部分数据显示，网友对于日本排放核污水的态度是坚决反对的，并且希望保护我们的大海。
(3.5)数据可视化界面的展示。在博客中介绍数据可视化界面的组件和设计的思路。
通过jieba分词，再通过wordcloud来形成词云图。
三、心得体会
(4.1)在这儿写下你完成本次作业的心得体会，当然，如果你还有想表达的东西但在上面两个板块没有体现，也可以写在这儿~
很难得任务，完全不会爬虫，python 也忘的差不多了，从零开始学爬虫，虽然最后爬出来了，但是还是在CSDN看了很多前辈的代码的基础上艰难完成的，收获很多。
...全文
请发表友善的回复…
发表回复
