112
社区成员
发帖
与我相关
我的任务
分享软件工程实践第二次作业---文件读取
| 这个作业属于哪个课程 | 2302软件工程社区 |
|---|---|
| 这个作业要求在哪里 | 软件工程第二次作业--文件读取 |
| 这个作业的目标 | 完成文件读取小练习 |
| 其他参考文献 | 《构建之法》、《阿里巴巴Java开发手册》、工程师的能力评估和发展、单元测试和回归测试 |
目录
- Gitcode项目地址
- PSP表格
- 解题思路描述
- 数据获取
- 数据处理
- 数据缓存
- 接口设计和实现过程
- 项目结构
- 核心功能接口设计
- 核心功能实现过程
- 关键代码展示
- 网络请求
- 处理数据
- 命令处理
- 性能改进
- 单元测试
- 异常处理
- 网络环境异常
- 文件不存在异常
- 心得体会
Gitcode项目地址
PSP表格
| PSP | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | 10 | 10 |
| • Estimate | • 估计这个任务需要多少时间 | 10 | 10 |
| Development | 开发 | 300 | 400 |
| • Analysis | • 需求分析 (包括学习新技术） | 20 | 10 |
| • Design Spec | • 生成设计文档 | 30 | 20 |
| • Design Review | • 设计复审 | 15 | 10 |
| • Coding Standard | • 代码规范 (为目前的开发制定合适的规范) | 15 | 10 |
| • Design | • 具体设计 | 45 | 60 |
| • Coding | • 具体编码 | 90 | 120 |
| • Code Review | • 代码复审 | 25 | 50 |
| • Test | • 测试（自我测试，修改代码，提交修改） | 60 | 120 |
| Reporting | 报告 | 90 | 90 |
| • Test Repor | • 测试报告 | 50 | 40 |
| • Size Measurement | • 计算工作量 | 10 | 20 |
| • Postmortem & Process Improvement Plan | • 事后总结, 并提出过程改进计划 | 30 | 30 |
| 合计 | 400 | 500 |
解题思路描述
数据获取
从题目中提供的网站，打开开发者工具初步判断对应的请求，并获取url地址已经接口参数等进行分析，后续在程序中使用网络请求获取数据(预计同时也会提供一种允许通过读取本地数据(example中的data)实现)
运动员数据相对简单，直接可以找到对应的api
从这个请求对应的请求头中可以找到我们需要的url，即
https://api.worldaquatics.com/fina/competitions/3337/athletes?gender=&countryId=,分析可，这是一个GET请求，带有gender、countryId等params，params参数可以为空
比赛数据涉及到多个api请求，我们首先在请求中找到比赛项目以及对应的id，我们可以轻易的找到获取这些信息的api接口:
https://api.worldaquatics.com/fina/competitions/3337/events
接着我们进一步找到具体比赛项目的详细得分情况，api:
https://api.worldaquatics.com/fina/events/${id}，其中id就是刚刚从请求中得到的id
网络请求使用hutool的网络请求包进行(这也是java开发用的较多的开源工具之一了)
数据处理
使用hutool的json库对请求返回的json数据进行解析，同时需要编写JavaBean来对Json数据做一些简单的映射，便于后续开发和维护使用。
数据缓存
为提高系统性能，使用hutool的缓存组之间本地缓存，加速读取热点数据的过程，避免网络请求或文件流读取成为系统应用瓶颈。
(不用redis是嫌麻烦了，而且怕待会助教整起来又没环境什么的)
接口设计和实现过程
项目结构
.
├─assets
└─src
├─core // 核心功能接口设计
│ └─impl // 核心功能实现类
├─datas // 本地缓存数据
├─entity // 实体对象封装
└─util // 工具类
核心功能接口设计
/**
* 核心算法接口定义
*
* @author 天狗
* @version 1.0
* @date 2024/2/19 11:25
*/
public interface Algorithms {
/**
* 获取所有选手信息
* @return 选手信息列表
*/
List<Player> getAllPlayers();
/**
* 获取指定项目的决赛结果
* @param event 项目
* @return 比赛结果列表
*/
List<Result> getResults(String event);
/**
* 获取指定项目的详细结果
* @param event 项目
* @return 比赛结果列表
*/
List<Result> getDetailResults(String event);
}
核心功能实现过程
- 使用Hutool的网络请求工具，对目标api的url进行请求，初步获得原始json数据
- 使用Hutool的Json工具，处理并提取需要的数据，封装到对象中
- 获取所有选手信息比较简单，只要从一个请求中就能获取到所有的数据
关键代码展示
网络请求
/**
* 基于hutool的Http请求工具类
*
* @author 天狗
* @version 1.0
* @date 2024/2/18 16:12
*/
public class HttpRequestUtil {
/**
* 发送get请求
* @param url 请求地址
* @param queryParams 请求参数
* @return 返回json对象
* @throws IOException IO异常
*/
public static JSONObject getObj(String url, Map<String, Object> queryParams) throws IOException {
return HttpRequestUtil.getObj(url, queryParams, new HashMap<String, String>(1));
}
/**
* 携带自定义请求头发送get请求
* @param url 请求地址
* @param queryParams 请求参数
* @param headers 请求头
* @return 返回json对象
* @throws IOException IO异常
*/
public static JSONObject getObj(String url, Map<String, Object> queryParams, Map<String, String> headers) throws IOException {
String body = HttpRequestUtil.get(url, queryParams, headers);
return JSONUtil.parseObj(body);
}
/**
* 发送get请求
* @param url 请求地址
* @param queryParams 请求参数
* @return 返回json数组
* @throws IOException IO异常
*/
public static JSONArray getArr(String url, Map<String, Object> queryParams) throws IOException {
return HttpRequestUtil.getArr(url, queryParams, new HashMap<String, String>(1));
}
/**
* 携带自定义请求头发送get请求
* @param url 请求地址
* @param queryParams 请求参数
* @param headers 请求头
* @return
*/
public static JSONArray getArr(String url, Map<String, Object> queryParams, Map<String, String> headers) {
String body = HttpRequestUtil.get(url, queryParams, headers);
return JSONUtil.parseArray(body);
}
/**
* 发送get请求
* @param url 请求地址
* @param queryParams 请求参数
* @param headers 请求头
* @return 返回json字符串
*/
private static String get(String url, Map<String, Object> queryParams, Map<String, String> headers) {
return HttpRequest.get(url).form(queryParams).addHeaders(headers).execute().body();
}
/**
* 发送post请求
* @param url 请求地址
* @param json 请求体
* @param headers 请求头
* @return 返回json对象
*/
public static JSONObject post(String url, String json, Map<String, String> headers) {
String body = HttpRequest.post(url).body(json).addHeaders(headers).execute().body();
return JSONUtil.parseObj(body);
}
}
处理数据
代码量较多，这边只展示一部分
/**
* 处理结果数据
* @param resultData 结果数据
* @param key key
* @param mergeMap 合并结果
* @param phase 阶段
*/
private void processResultData(JSONObject resultData, String key, Map<String, Result> mergeMap, String phase) {
if (resultData != null) {
for (Object o : resultData.getJSONArray(key)) {
JSONObject player = (JSONObject) o;
Result result = new Result();
String fullName = player.getStr("FullName");
String rank = player.getStr("Rank");
ArrayList<String> scoreList = new ArrayList<>();
for (Object dive : player.getJSONArray("Dives")) {
JSONObject diveObj = (JSONObject) dive;
scoreList.add(diveObj.getStr("DivePoints"));
}
Result mapResult = mergeMap.get(fullName);
if (mapResult != null) {
BeanUtil.copyProperties(mapResult, result);
}
result.setFullName(fullName);
switch (phase) {
case "Final":
result.setFinalRank(rank);
result.setFinalScore(scoreList);
break;
case "SemiFinal":
result.setSemiFinalRank(rank);
result.setSemiFinalScore(scoreList);
break;
case "Preliminary":
result.setPreliminaryRank(rank);
result.setPreliminaryScore(scoreList);
break;
default:
break;
}
mergeMap.put(fullName, result);
}
}
}
命令处理
/**
* 执行读入的命令命令
* @param command 命令
* @throws IOException IO异常
*/
private static String doCommand(String command) {
Algorithms algorithms = new AlgorithmsImpl();
if ("players".equals(command)) {
List<Player> players = algorithms.getAllPlayers();
return toResultString(players);
} else if (Pattern.matches("result .* detail$", command)) {
String event = command.replaceFirst("result ", "").replaceFirst(" detail", "");
List<Result> results = algorithms.getDetailResults(event);
return toDetailResultString(results);
} else if (Pattern.matches("result .*",command)) {
String event = command.replaceFirst("result ", "");
List<Result> results = algorithms.getResults(event);
return toResultString(results);
} else {
return "ERROR\n-----\n";
}
}
性能改进
增加了一个缓存工具类，基于Hutool提供的LFU最少使用率策略，使用单例模式，保证全局实例唯一性
/**
* 缓存工具类
* 用于缓存一些数据
* 使用单例模式
*
* @author 天狗
* @version 1.0
* @date 2024/2/20 14:55
*/
public class CacheSingleton {
private static volatile Cache<String, Object> instance;
public static Cache<String, Object> getInstance() {
if (instance == null) {
synchronized (CacheSingleton.class) {
if (instance == null) {
instance = CacheUtil.newLRUCache(100);
}
}
}
return instance;
}
public static void put(String key, Object value) {
getInstance().put(key, value);
}
public static Object get(String key) {
return getInstance().get(key);
}
}
单元测试
对核心模块进行单元测试，测试覆盖率要求达到75%以上
对入口函数进行测试，覆盖率同样符合要求
异常处理
原本想搞全局异常捕获的，但是这种相对原生的项目还是有点无从下手
网络环境异常
当Http请求失败时，会捕获异常，并从本地读取json数据进行输出。(数据来源于题目example中提供的datas)
文件不存在异常
会在控制台中进行提示
心得体会
在这个作业中，我学会了如何从互联网上获取数据，然后用程序来分析和处理这些数据。最难的部分是理解如何正确地使用API来获取数据，并且搞清楚如何从复杂的JSON格式中提取我们需要的信息。另外，学会了如何从文件中读取数据，处理它们，然后将结果保存回文件。这个作业让我更熟练地掌握了API调用、JSON处理和文件操作，也让我更有信心能够在未来的项目中应对类似的挑战。通过这次经历，我觉得自己的编程能力得到了提升，也更了解了软件工程这个领域的实际应用。
...全文
请发表友善的回复…
发表回复
