软件工程第二次实践作业

222200116吴源桓 2024-09-10 16:33:05
这个作业属于哪个课程2401_CS_SE_FZU
这个作业要求在哪里https://bbs.csdn.net/topics/619294904
这个作业的目标完成对2024年巴黎奥运会相关数据的收集，并实现一个能够对国家排名及奖牌个数统计的控制台程序
其他参考文献...

目录

  • 一、项目地址
  • 二、PSP表格
  • 三、解题思路描述
  • 四、设计与实现过程
  • 五、程序性能改进
  • 六、单元测试
  • 七、心路历程与收获

一、项目地址

二、PSP表格

PSPPersonal Software Process Stages预估耗时（分钟）实际耗时（分钟）
Planning计划1520
• Estimate• 估计这个任务需要多少时间600540
Development开发360300
• Analysis• 需求分析 (包括学习新技术）120100
• Design Spec• 生成设计文档6060
• Design Review• 设计复审1010
• Coding Standard• 代码规范 (为目前的开发制定合适的规范)1010
• Design• 具体设计3060
• Coding• 具体编码180180
• Code Review• 代码复审6060
• Test• 测试（自我测试，修改代码，提交修改）120100
Reporting报告6060
• Test Repor• 测试报告6060
• Size Measurement• 计算工作量6030
• Postmortem & Process Improvement Plan• 事后总结, 并提出过程改进计划4560
合计17901560

三、解题思路描述

  1. 在刚拿到题目是，首先应该爬取数据，对此，我专门学习了Python爬虫知识，并成功利用Python爬取解题所需数据并将之转化为可利用json文件
  2. 根据爬取的数据，制定专门的类以方便读取数据
  3. 根据读取的数据，编写程序以处理数据

四、设计与实现过程

  1. 首先爬取奖牌数据，打开2024巴黎奥运会奖牌榜,点击F12打开开发者工具

    img


    发现所需的数据就存放在在getOlyMedal字段里右键复制值，并存放到rank.json中

  2. 接着爬取赛程数据，打开2024巴黎奥运会,点击F12打开开发者工具

    img


    发现所需数据就存放在getOlyMatchesList字段中，由于赛程较多，因此我编写了一段python代码用于爬取每日赛程数据，代码核心部分如下:

    # 定义处理函数，用于获取和保存数据
def fetch_and_save_data(date):
url = url1.format(date)  # 生成完整的 URL
response = requests.get(url)
match = re.search(r'OM\((.*)\)', response.text)
schedule = []

if match:
    json_str = match.group(1)
    data = json.loads(json_str)
    match_list = data.get("data", {}).get("matchList", [])

    for match in match_list:
        filtered_match = {field: match.get(field, None) for field in keep}

        schedule.append(filtered_match)

with open(f"{date}.json", "w", encoding="utf-8") as f:
    json.dump(schedule, f, ensure_ascii=False, indent=4)

  3. 至此，我们已经获得所有所需的数据。接着根据爬取的数据，创建Match类以存储赛程数据

    class Match {
 private String startdatecn;
 private String itemcodename;
 private String title;
 private String venuename;
 private String homename;
 private String awayname;

 // Getters and Setters

 @Override
 public String toString() {
     String vs = "";
     if (!homename.equals("") && !awayname.equals("")) {
         vs = homename + " VS" + awayname;
     }
     return  "time:'" + startdatecn +
             "\nsport='" + itemcodename +
             "\nname='" + title + " " + vs + " " +
             "\nvenuename='" + venuename +
             "\n-----";
     }
 }

    创建Medals类以存储每个国家的奖品信息

    import com.fasterxml.jackson.annotation.JsonProperty;

 public class Medals {

     @JsonProperty("countryid")
     private String countryId;

     @JsonProperty("countryname")  // 注意这里指定了 JSON 字段名
     private String countryName;

     @JsonProperty("gold")
     private int gold;

     @JsonProperty("silver")
     private int silver;

     @JsonProperty("bronze")
     private int bronze;

     @JsonProperty("count")
     private int count;

     @JsonProperty("rank")
     private int rank;

     // Getters and Setters

     @Override
     public String toString() {
         return "\nrank" + rank + ":" + countryId +
                 "\ngold:" + gold +
                 "\nsilver:" + silver +
                 "\nbronze:" + bronze +
                 "\ntotal:" + count +
                 "\n-----";
     }
 }

  4. 创建JsonReader类以实现从爬取的json文件中存储数据为List，以便后续使用。代码如下：

    public class JsonReader {
    public static List<Match> readMatchesFromJsonFile(String filePath) {
        ObjectMapper objectMapper = new ObjectMapper();
        List<Match> matches = Collections.emptyList();  // 初始化为一个空列表

        try {
            matches = objectMapper.readValue(new File(filePath),
                    objectMapper.getTypeFactory().constructCollectionType(List.class, Match.class));
        } catch (IOException e) {
            System.err.println("Failed to read JSON file: " + e.getMessage());
            e.printStackTrace();
        }

        return matches;
    }

    public static List<Medals> readMedalsFromJsonFile(String filePath) {
        ObjectMapper objectMapper = new ObjectMapper();
        List<Medals> medalList = null;

        try {
            medalList = objectMapper.readValue(new File(filePath),
                    objectMapper.getTypeFactory().constructCollectionType(List.class, Medals.class));
        } catch (IOException e) {
            System.err.println("Failed to read JSON file: " + e.getMessage());
            e.printStackTrace();
        }

        return medalList;
    }
}

  5. 创建TxtReader类和TxtWriter类以实现读取输入文件和写入输出文件，代码如下：

    public class TxtFileWriter {

    /**
    * 使用 FileWriter 和 BufferedWriter 向文件写入内容。
    *
    * @param filePath 文件的绝对路径或相对路径
    * @param content  要写入的内容
    */
    private static boolean isFirstWrite = true;
    public static void writeToFile(String filePath, String content) {
        try (BufferedWriter writer = new BufferedWriter(new FileWriter(filePath, !isFirstWrite))) {
            writer.write(content);
            writer.newLine();  // 添加新行
            isFirstWrite = false;  // 标记首次写入已完成
        } catch (IOException e) {
            System.err.println("Error writing to file: " + e.getMessage());
            e.printStackTrace();
        }
    }
}
public class TxtFileReader {

    public static List<String> readFileLines(String filePath) {
        List<String> lines = Collections.emptyList();

        try (BufferedReader reader = new BufferedReader(new FileReader(new File(filePath)))) {
            lines = reader.lines().toList();
        } catch (IOException e) {
            System.err.println("Error reading file: " + e.getMessage());
            e.printStackTrace();
        }

        return lines;
    }
    public static boolean isFileExit(String path) {
        Path filePath = Paths.get(path);
        return Files.exists(filePath) && Files.isRegularFile(filePath);
    }
}

  6. 现在我们已经成功读取数据和输入文件，接着我们开始处理输入文件，对此，我创建了一个HandlCmd类以处理输入文件，核心代码如下

    public static void handleCmd(String input_path, String output_path) {
    List<String> cmds = TxtFileReader.readFileLines(input_path);

    for (String cmd : cmds){
        if (cmd.equals("total")) {
            List<Medals> medals = JsonReader.readMedalsFromJsonFile(OlympicSearch.getRank_path());
            TxtFileWriter.writeToFile(output_path, medals.toString());
        }
        else if (cmd.startsWith("schedule")) {
            if (containsDateInRange(cmd, "2024-07-24", "2024-08-11")) {
                Pattern pattern = Pattern.compile("\\d+");
                Matcher matcher = pattern.matcher(cmd);
                if (matcher.find()) {
                    List<Match> matches = JsonReader.readMatchesFromJsonFile("src/data/2024" + matcher.group() + ".json");
                    for (Match match : matches) {
                        TxtFileWriter.writeToFile(output_path, match.toString());
                    }

                }
            }
            else {
                TxtFileWriter.writeToFile(output_path, "N/A\n-----");
            }
        }
        else {
            TxtFileWriter.writeToFile(output_path, "Error\n-----");
        }
    }

}

  7. 最后，我们在主类中声明文件路径，并对输入文件进行简单的判断，若输入文件正确，则调用HandleCmd类处理输入，核心代码如下：

    private static String input_path = "E:\\IdeaProjects\\OlympicSearch\\src\\data\\input.txt";
private static String output_path = "E:\\IdeaProjects\\OlympicSearch\\src\\data\\output.txt";
private static String rank_path = "E:\\IdeaProjects\\OlympicSearch\\src\\data\\rank.json";
public static void main(String[] argc){
    if (getInput_path().equals("") || getOutput_path().equals("")) {
        System.out.println("Error!输入过少\n");
        return;
    }
    else {
        if (!TxtFileReader.isFileExit(getInput_path())) {
            System.out.println("错误：输入文件不存在");
            return;
        }
        else {
            HandleCmd.handleCmd(getInput_path(), getOutput_path());
        }
    }
}

五、程序性能改进

  1. 使用List存储读取的对象以获得更快的速度
    public static List<Medals> readMedalsFromJsonFile(String filePath)
  2. 在文件读写过程中，使用BufferedReader/BufferedWriter进行读写
  3. 在爬取数据后，对数据进行清洗。
    清洗前的数据

    img


    大小为109KB

    img


    清洗后的数据

    img


    大小为15KB

    img


    大小减少将近90%

六、单元测试

  • 创建OlympicSearchTest类，并在里面写出测试样例，代码如下：
    ```
    import org.junit.jupiter.api.Test;
    import org.junit.jupiter.api.Assertions;

    import java.util.List;

    public class OlympicSearchTest {

      @Test
  public void testinput1(){
      System.out.println("错误输入");
      OlympicSearch.setInput_path("666.txt");
      OlympicSearch.main(new String[]{});
  }

  @Test
  public void testinput2(){
      System.out.println("过少输入");
      OlympicSearch.setInput_path("666.txt");
      OlympicSearch.setOutput_path("");
      OlympicSearch.main(new String[]{});
  }

  @Test
  public void testinput3(){
      System.out.println("过少输入");
      OlympicSearch.setInput_path("666.txt");
      OlympicSearch.setOutput_path("");
      OlympicSearch.main(new String[]{});
  }

  @Test
  public void testinput4(){
      System.out.println("测试正确输入total");
      OlympicSearch.setInput_path("src/data/input04.txt");
      OlympicSearch.setOutput_path("src/data/output04.txt");
      OlympicSearch.main(new String[]{});
  }

  @Test
  public void testinput5(){
      System.out.println("测试正确输入schedule 0808");
      OlympicSearch.setInput_path("src/data/input05.txt");
      OlympicSearch.setOutput_path("src/data/output05.txt");
      OlympicSearch.main(new String[]{});
  }

  @Test
  public void testinput6(){
      System.out.println("测试错误输入schedule 0830，赛程不在范围内");
      OlympicSearch.setInput_path("src/data/input06.txt");
      OlympicSearch.setOutput_path("src/data/output06.txt");
      OlympicSearch.main(new String[]{});
  }

  @Test
  public void testinput7(){
      System.out.println("测试错误输入totol，错误命令");
      OlympicSearch.setInput_path("src/data/input07.txt");
      OlympicSearch.setOutput_path("src/data/output07.txt");
      OlympicSearch.main(new String[]{});
  }

  @Test
  public void testinput8(){
      System.out.println("测试输入多条正确命令");
      OlympicSearch.setInput_path("src/data/input08.txt");
      OlympicSearch.setOutput_path("src/data/output08.txt");
      OlympicSearch.main(new String[]{});
  }

  @Test
  public void testinput9(){
      System.out.println("测试输入多条错误命令");
      OlympicSearch.setInput_path("src/data/input09.txt");
      OlympicSearch.setOutput_path("src/data/output09.txt");
      OlympicSearch.main(new String[]{});
  }

  @Test
  public void testinput10(){
      System.out.println("测试输入多条正确或错误命令");
      OlympicSearch.setInput_path("src/data/input10.txt");
      OlympicSearch.setOutput_path("src/data/output10.txt");
      OlympicSearch.main(new String[]{});
  }

}
```
  • 测试结果展示(样例)

img

img

img

img

七、心路历程与收获

  • 刚拿到题目时绝对很难，因为无论是fork仓库，还是数据爬取，都是我完全没接触过的新事物，对于未知事物的恐惧让我绝对这次作业很难。但是随着深入学习，发现难度适中，并没有刚开始想象的那么难。在这次过程中，我学会了利用python爬取数据，idea的使用，对markdown的编写也愈发熟练，同时我也学会了在java中读取json文件
...全文
121 回复 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
软件工程实践第二次作业
文章目录软件工程实践第二次作业——个人实战 #Gitcode项目地址 Gitcode项目地址 #PSP表格 PSP 估计耗时 实际耗时 计划 估计任务时间 30 30 开发 需求分析 30 30 生成设计文档 30 20 设...
软件工程实践第二次作业——个人实战
在刚开始写运动员数据的输出的时候，我使用了StringBuilder来构造字符串，之后再通过构造的字符串生成Athlete的List队列，相比于现在的直接构造Athlete的List队列会比较慢（这里进行了很多很多次修改，把...
2022北航敏捷软件工程 第一次博客作业
2022北航敏捷软件工程 第一次博客作业 项目 内容 这个作业属于哪个课程 2022年北航敏捷软件工程 这个作业的要求在哪里 个人阅读作业-阅读和调研 我在这个课程的目标是 了解软件工程的方法论、在实践中...
软件工程实践——软件评测作业
这个作业属于哪个课程 2302软件工程 这个作业要求在哪里 作业要求 这个作业的目标 评测现有网站 其他参考文献 构建之法 目录 第一部分 调研，评测 一、kimi 1、使用体验 2、BUG描述 3、结论 二、文心一言 1、使用...
软件工程实践结对第一次作业-原型设计
四、困难及解决方法 （一）遇到的困难 因为是第一次做软件的原型开发，之前从来没有接触过类似的工具。这次开发我们使用的工具是墨刀，我们因为不熟悉这个工具，所以在开发工具的使用上有困难。其次，在具体的开发...
2401_CS_SE_FZU

111

社区成员

870

社区内容

发帖
与我相关
我的任务
社区描述
202401_CS_SE_FZU
软件工程 高校
社区管理员
  • FZU_SE_TeacherL
  • 言1837
  • 防震水泥
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章