2023秋软工实践个人作业二

2023-09-15 15:55:56 133 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

python：numpy分享（保姆级教程）创建数组：array和ndarray、rand（）、randn（）、arange（）、randint（）、uniform（）astype（）基础函数：ceil（）、floor（）、rint（）、argmax（）、argmin（）、cumsum（）、cumprod（）numpy 是数据分析必不可少的第三方库，具有高性能的特点，多用于做数组分析。内置函数：ceil（）、floor（）、rint（）主要用于数组计算，支持多维数组。array和ndarray。比较函数：all、any。去重函数：unique。阅读详情

这个作业属于哪个课程	2023秋-福州大学软件工程
这个作业要求在哪里	2023秋软工实践个人作业二
这个作业的目标	通过难度与关键词在洛谷爬取相关的前50道题目以及对应的第一个题解，同时保存为markdown形式，并按要求保存在相关文件夹下，同时编写单元测试进行测试，并将项目放在github上；结合过程中利用的AIGC完成表格；运用PSP表对任务进行分解
学号	102102105

一、将项目放到github仓库，在博客中提交github仓库链接。

项目仓库链接

GUI页面：可以通过自己选取关键词与难度进行爬取数据

爬取结构的存放：文件夹以及markdown文件

markdowm文件展示

二、介绍项目的前端，特色的功能，以及完成项目中所用的技术、特殊的算法（实现思路）等等，可以用图表的形式展现。

反爬：更改请求头信息：有些网站通过检查请求的User-Agent等HTTP头部信息来判断是否是爬虫。可以尝试修改User-Agent信息以模拟正常浏览器的访问。使用编程语言的网络请求库时，通常可以在请求中设置自定义的User-Agent。

解码：此次题解需要解码因此使用urllib.parse.unquote()进行解码

GUI页面：通过Tkinter库制作相应关键词与难度可以选择也可以自己输入同时增加了爬取的实时情况与实时更新

题目存在非法字符导致保存失败在保存之前进行字符转换

三、单元测试

单元测试的目的是隔离和测试程序的最小可测试单元，以便快速定位和修复问题。通过编写针对每个模块的测试用例，并在对代码进行更改或新增功能时运行这些测试用例，开发人员可以确保其代码的正确性和可靠性。
我通过编写一个减法函数进行测试，最终返回ok，表示测试单元在测试过程中表现正常，符合预期的行为。

测试样例

测试结果

三、AIGC表格

子任务	预估哪些部分使用AIGC	实际中哪些部分使用AIGC
GUI设计	之前学过Java的GUI 觉得Python应该自己也行不需要用到太多AIGC	真的自己写的时候全忘记了大致框架运用了AIGC 细节自己处理
题目的爬取与存储	学过一点点爬虫应该在保存格式上比较需要爬取题目应该不太需要	洛谷有反爬机制还是得求助AIGC解决这个问题以及markdown形式的保存
题解的爬取与存储	题解的解码	题解的解码以及利用cookie
单元测试	单元测试代码的框架	单元测试代码框架以及一些报错的解决

四、你学会了什么内容？有什么心得体会？

这次学到的东西很多！爬虫、反爬、解码、GUI页面的制作、最基本单元测试，这次的爬虫作业让我快爬不动了。在没有任何爬虫基础的情况下，爬取会反爬以及加密的网站，还有周末两天建模的压力以及其他作业的ddl，感受到了一次又一次的崩溃。最开始一道题也爬不下来，一堆搞不懂的报错；到后来经常性的302，爬多少题看它心情；接着为了找题解的标签，已经快把超级玛丽的第一个题解的源码看烂了，最后终于找到了script!!!这次学到的除了知识还有崩溃与破防，不过话写到这里作业也快完成了。
通过这次作业，发现自己会的真的好少，努努力多学一点吧，希望以后别再这么艰难了！！

五、运用PSP表格对任务进行分解，记录预估耗时和实际耗时。评价这次个人作业的完成过程和最终效果：哪里做的好，哪里还可以改进？

PSP	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	20	10
· Estimate	· 估计这个任务需要多少时间	960	720
· Analysis	· 需求分析 (包括学习新技术)	480	240
· Design Spec	· 生成设计文档	60	40
· Coding	· 具体编码	360	450
· Test	· 测试（自我测试，修改代码，提交修改）	60	30
· Test Repor	· 测试报告	30	20
	· 合计	1010	790