102400207软件工程第二次作业

小菜瓜饼 小菜瓜饼 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
这个作业属于哪个课程
这个作业要求在哪里软件工程实践第二次作业——与AI结对编程(顶会热词统计)-CSDN社区
这个作业的目标与 AI 结对完成"CV 顶会热词统计平台":NABCD 需求分析 → 原型设计 → 编码实现 → 部署华为云,全程记录人机协作过程
其他参考文献《构建之法》第 3、4、8 章;DBLP / CVF Open Access / ECVA / OpenAlex 官方文档;PEP 8、Airbnb JavaScript Style Guide

目录

  • 一、Git 仓库、代码规范与 AI 工具说明
  • 1.1 Git 仓库(华为云 CodeArts)
  • 1.2 代码规范
  • 1.3 AI 编程助手说明
  • 二、PSP 表格
  • 三、NABCD 需求分析
  • N(Need,需求)
  • A(Approach,做法)
  • B(Benefit,好处)
  • C(Competitors,竞争)
  • D(Delivery,推广)
  • 四、原型设计与原型链接
  • 4.1 原型工具与在线预览
  • 4.2 信息架构与页面(共 5 页)
  • 4.3 交互规则(页面间的数据流转)
  • 4.4 与 AI 协作设计的过程与人工优化
  • 4.5 原型截图
  • 五、成品展示
  • 5.1 首页总览(功能 3:热门方向分析、功能 4:关键词图谱)
  • 5.2 热度走势对比(功能 5:动图)
  • 5.3 论文列表管理(功能 2)
  • 5.4 论文信息爬取与导入(功能 1)
  • 5.5 主题、多语言
  • 5.6 关于页(扩展功能:了解更多)
  • 六、结对(人机)讨论过程描述
  • 案例 A:AI 辅助原型设计与迭代优化(使用反馈驱动的返工)
  • 案例 B:AI 辅助编码——数据处理方案审查与数据源覆盖修正
  • 案例 C:AI 辅助调试——发现 AI 代码错误并纠正(三轮典型对话)
  • 七、设计实现过程
  • 7.1 功能结构图
  • 7.2 关键设计决策
  • 7.3 设计的合理性与创新性
  • 7.4 扩展功能(附加分项,均已实现)
  • 7.5 遇到的问题与解决
  • 7.6 质量保障
  • 八、代码说明
  • 可解释性声明
  • 8.1 防抖重建守护线程(backend/rebuild.py,数据一致性的核心)
  • 8.2 统计接口的筛选口径统一(backend/api_stats.py)
  • 8.3 走势接口:多选会议服务端求和(backend/api_stats.py)
  • 8.4 限速 HTTP 客户端(数据准备/data_pipeline/http_client.py)
  • 8.5 词云螺旋布局(编码实现/frontend/src/pages/Home.tsx)
  • 8.6 模糊查询与倒排过滤(编码实现/backend/api_papers.py)
  • 九、心路历程与收获
  • 十、对 AI 结对伙伴的评价
  • 附:数据来源与统计口径声明

一、Git 仓库、代码规范与 AI 工具说明

1.1 Git 仓库(华为云 CodeArts)

  • 仓库地址:102400207-2 - Repo
    • 仓库以学号命名。因同一账号下学号已被第一次个人作业的仓库占用,所以加后缀 102400207-2 区分。
  • 分支策略:仓库默认主干分支为 master,开发全程在 dev 分支进行,五项基础功能完成后合并回主干(保留合并提交,非快进合并)。
  • 版本标记:附注标签 v1.0.0 指向主干合并提交 00eba47,标记"首个完成五项基础功能的正式版本";CodeArts 的标签页支持直接下载该版本的源码包。
  • commit 数量:主干共 64 次提交,为57次功能开发提交 + 1 次远程仓库初始化 + 6次合并提交。开发提交严格按功能模块划分,依次对应:需求与方案文档 → 数据流水线各模块(列表页爬取、论文页爬取、清洗、关键词抽取、统计预计算、在线补爬)→ 原型设计与实现 → 代码规范 → 后端各接口 → 前端各页面 → 测试与文档。
  • .gitignore:忽略 node_modules/、dist/、__pycache__/、*.db、.workbuddy/ 等非源码产物,仓库内只保留可构建项目的源码(约 200 个文件、1.8MB)。
  • README.md:位于仓库根目录,含作业链接、学号、项目介绍、数据来源与获取方式、AI 使用说明、本地运行与重建数据的步骤。
  • Git 高级功能的实际使用情况:使用了分支(dev 开发 → 合并回主干,保留合并提交)、标签(附注标签 v1.0.0)、版本包下载;dev 与主干之间的合并是一次完整的合并提交,可在提交网络中看到分支分出去又合回来的走向。Issues 与 Pull Request 本次未使用,此处如实说明。
  • 关于提交时间:本项目在本地工作目录中开发完成(9/19–9/21),开发期间未启用版本控制;9/21 建立 CodeArts 仓库后,将已完成的开发成果按功能模块逐次补录提交,因此早期提交的时间戳集中在同一天。补录内容与文件一一对应,未修改任何提交时间戳,仓库建立之后的部署与文档修订提交均为实时提交。

1.2 代码规范

  • 规范文件:文件 - 102400207-2 - Repo
  • 规范来源:
    • 后端 Python 采用 PEP 8 官方规范,并参考 Google Python Style Guide;
    • 前端 TypeScript / React 采用 Airbnb JavaScript Style Guide(含 React 部分),并参考 Google TypeScript Style Guide;
    • 提交信息采用 Conventional Commits 约定。
  • 规范内容分五部分:通用约定、后端 Python、前端 React + TS、Git 提交、代码复审,并附一份独立的注释规范(本项目重点要求:每个模块/函数/类都要说明"它在做什么",关键逻辑必须有行内注释,尤其是业务口径算法、不直观的数值与踩过的坑)。

1.3 AI 编程助手说明

  • 工具与版本:WorkBuddy 桌面端 AI 编程助手 Agent,用的是 GLM 5.3-flash。
  • 主要用途:
    • 需求分析与头脑风暴(多角色用户视角、竞品分析、功能优先级);
    • Bug 定位与修复(三个典型问题见第六节案例 C);
    • 原型设计协作(AI 梳理信息架构、布局与配色建议、界面文案初稿;由我在专业原型设计工具 Pixso 中绘制 5 页高保真设计稿,共 7 轮走查迭代);
    • 代码生成(爬虫流水线、Flask 后端接口、React 前端页面与可视化组件);
  • 协作方式:AI 出初稿 → 我逐条审查(提问、质疑、要求修改)→ 人工验证后采纳。所有关键决策由我做最终判断。
  • 协作痕迹留存:各阶段关键决策与 Bug 复盘均逐条记入开发日志(需求、原型、编码三期各有独立记录),本文第六节据日志还原迭代过程。

二、PSP 表格

PSPPersonal Software Process Stages预估耗时(分钟)实际耗时(分钟)
Planning计划3030
• Estimate• 估计这个任务需要多少时间3030
Development开发17102340
• Analysis• 需求分析(含阅读《构建之法》3/8章、AI 头脑风暴)180240
• Design Spec• 生成设计文档(需求分析文档 + 数据处理方案)180240
• Design Review• 设计复审(方案五轮逐条检查)60120
• Coding Standard• 代码规范(codestyle.md)3060
• Design• 具体设计(Pixso 原型工具学习 + 5 页设计稿 7 轮走查迭代)300420
• Coding• 具体编码(数据流水线 + Flask 后端 + React 前端)780900
• Code Review• 代码复审(AI 三轮走查 + 人工抽查)60120
• Test• 测试(API 33 项断言 + UI 24 项断言 + 人工验收 40 项)120240
Reporting报告150150
• Test Report• 测试报告(功能检查记录)6060
• Size Measurement• 计算工作量3030
• Postmortem & Process Improvement Plan• 事后总结并提出改进计划6060
合计18902520

偏差分析

实际 2520 分钟,预估 1890 分钟,超出 630 分钟(+33%)。值得说明的是,超支并非发生在编码,而是集中在"审查与验证"类任务:

  • Design Review 设计复审(60 → 120):方案做了五轮逐条检查,必须逐条核对官网事实。
  • Design 具体设计(300 → 420):原型共 7 轮截图走查。AI 初稿中的词云节点重叠、配色随机无含义、暗色主题脱节等问题,都必须靠人工看渲染结果。
  • Test 测试(120 → 240):两轮走查。首轮 API 通过 31/33、UI 通过 19/24,暴露 3 个前端缺陷与 2 个用例误判,修复后回归才全绿。
  • Code Review 代码复审(60 → 120):AI 三轮走查 + 人工抽查。
  • Analysis / Design Spec(各 180 → 各 240):计划外返工。原定数据源 DBLP 被人机校验拦截,需要重新调研 CVF / ECVA / OpenAlex 三条路径并改写方案。

未显著超支的部分:Coding 仅超 15%(780 → 900),因为 2.2 万篇论文的限速爬取(累计约 4 小时)以后台进程与开发并行进行,没有占用有效工时;Reporting 与预估完全一致。

结论:与人机结对把"打字量"大幅压缩了,但复审、验证与决策的时间一分没少。AI 越高产,需要人工审的产出就越多。PSP 偏差最大的几项恰好印证了这一点:结对开发中,AI 承担产出,人承担正确性,而后者的工时无法被 AI 摊薄。


三、NABCD 需求分析

N(Need,需求)

  • CV 方向初学者(小刚)想快速了解近几年热门研究方向,但 CVPR 2025 投稿 13008 篇、录取 2878 篇,人工阅读不可行;
  • 论文检索者需要按题目或关键词查到摘要、关键词、原文链接,且库里没有时要能联网补爬;
  • 趋势关注者需要对比多年间、不同顶会(CVPR / ICCV / ECCV)的热词走势。

A(Approach,做法)

  1. 预爬 + 在线补爬双轨数据源:预先爬取 CVF / ECVA 官方开放获取页面 2019–2025 共 14 届、27,366 篇论文(限速 ≤2 req/s、失败指数退避、断点续爬)作为静态快照;运行期用户查询单篇或批量导入时,走 OpenAlex 公共 API 在线补爬。两条路径复用同一套清洗与关键词抽取模块,保证统计口径一致。
  2. 三级关键词抽取:作者关键词(最优先)→ 高频 n-gram 短语匹配(预扫描全库生成短语表)→ TF-IDF 兜底(IDF 基于全库预计算);再做同义词与缩写合并(CNN = convolutional neural network)、小写归一、单复数归一。
  3. 热度口径明确:一篇论文对某关键词只计 1 次(避免长摘要偏置);年度热度 = 词频 × (1 + 增长率),双年会(ICCV / ECCV)的增长率相对同会议的上一届计算。
  4. 预计算 + 防抖重建的读写分离:2.7 万篇论文的统计提前算入 keyword_stats(含跨会聚合行)与 keyword_papers 倒排表,页面只做索引命中查询(实测最慢 519ms,满足 <1s);论文增删改后由后台守护线程防抖重建,不阻塞请求。
  5. 可视化呈现:词云(字号 + 颜色双编码词频、螺旋布局防重叠)、Top10 热力条形图、共现关键词图谱、平滑贝塞尔走势动图。

B(Benefit,好处)

  • 初学者3 分钟内就能看到"现在什么热、什么正在变热"(例如 diffusion 的词频从 2019 年的 0 涨到 2025 年的 96),不用读任何论文;
  • 全库 27,366 篇、47,841 个热词,常规查询全部秒级响应;
  • 查不到的论文自动联网补爬并入库,平台数据越用越全;
  • 收藏夹支持导出 CSV / BibTeX,可直接服务文献综述写作。

C(Competitors,竞争)

  • Google Scholar / DBLP:只有检索,没有热词统计与趋势可视化;且 DBLP 实测已启用人机校验,程序化访问困难。我们的优势是面向"看趋势"场景专门设计,Top10、图谱、走势开箱即用。
  • Semantic Scholar / OpenAlex:学术搜索引擎,信息过载,初学者难以直接得到"热门方向"这个答案;公共 API 还限流(实测 Semantic Scholar 持续返回 429)。我们的优势是预计算统计 + 交互式动图呈现,且按三大顶会口径聚焦。
  • Connected Papers / ResearchRabbit:以单篇论文为起点的引文图谱,不是"领域热词"视角。我们的优势是关键词粒度加顶会年度对比,正对"选方向"这个需求。
  • 知网 / CNKI 计量可视化:面向中文期刊,不覆盖 CV 三大顶会。我们的优势是专注 CVPR / ICCV / ECCV,数据来自官方开放获取页面。
  • 各类"论文热点分析"脚本:一次性脚本,无界面、无查询、无增量爬取。我们的优势是完整 Web 平台——可查、可管(增删改)、可在线补爬、可导出。

D(Delivery,推广)

  • CodeArts 仓库公开,README 说明数据来源与复现步骤;
  • 数据来源与获取方式已在平台"关于"页与博客中注明(CVF / ECVA 官方开放获取 + OpenAlex,仅用于课程教学)。

四、原型设计与原型链接

4.1 原型工具与在线预览

  • 设计稿(Pixso):页面布局用专业原型设计工具 Pixso 绘制高保真设计稿(共 5 页,见 4.2),确定信息架构与各页面的功能模块划分。
  • 与 AI 的协作设计方式:AI 先根据需求生成各页面的信息架构与功能模块清单初稿、界面文案与配色建议 → 我在 Pixso 中据此绘制设计稿 → 每轮完成后截图给 AI 走查(找出词云节点重叠、配色随机无含义、暗色主题脱节等问题)→ 人工判断后修改定稿。设计决策(信息架构、交互方式)由我做最终判断,Pixso 中的绘制与调整由我完成。
  • 交互原型(React 19 + TypeScript + Tailwind CSS + shadcn/ui):设计稿定稿后再用前端技术构建可交互高保真原型并发布为网页。之所以在设计稿之外再做代码原型,差别在于"原型能不能被真实点开":静态设计稿能演示页面跳转与弹窗,但查询联动、图谱点击、动图逐帧播放这类由数据驱动的交互无法真实验证——而这恰好是本平台的核心交互。代码原型每一步交互都是真实渲染、真实请求,等于把"验证交互逻辑"这件事提前到了原型阶段。
  • 原型与最终实现是两套独立的代码目录(原型在 原型UI设计/,实现在 编码实现/),Pixso 设计稿与代码原型均未直接生成任何最终实现代码。
  • 原型在线预览:https://d00f83c6d75c40a0ab61752de2f9c360.app.workbuddy.host/
    • 建议浅色与暗色主题各浏览一遍,右上角可切换。

4.2 信息架构与页面(共 5 页)

页面设计稿(Pixso,共 5 页)——设计稿中的数值为设计阶段的示意,成品数值以真实爬取数据为准:

顶部导航:HotWords·CV | 首页总览 | 热度走势 | 论文管理 | 数据导入 | 关于 | 中/EN · 明暗切换
  1. 首页 / 热门方向总览:Hero 数据指标 + 词云(点击关键词跳转论文页并带上过滤条件)+ Top10 热力条形图(点击条目弹出抽屉展示相关论文)+ 关键词图谱(放射状布局,连线粗细正比于共现强度)。
  2. 热度走势对比页:会议多选联动重算、播放 / 暂停时间轴动图、导出动图按钮、年度热词演变榜单(名次升降箭头)。
  3. 论文列表管理页:精确 / 模糊查询 Tab、会议与年份筛选、服务端分页、增删改弹窗(删除二次确认)、收藏与 CSV / BibTeX 导出、查询无结果时的空态引导(相近词推荐 + 联网爬取)。
  4. 论文爬取 / 导入页:单题输入 + 批量导入(CSV / TXT 拖拽或粘贴),异步任务进度列表逐条显示状态,失败条目可单独重试。
  5. 关于页:三大会背景介绍、数据来源与统计口径说明。

4.3 交互规则(页面间的数据流转)

  1. 首页词云或图谱点击关键词 → 跳转论文管理页,并自动填入关键词过滤条件。
  2. 首页 Top10 条目点击 → 弹出 Drawer 展示该方向相关论文(倒排索引实时查询)。
  3. 走势页切换会议 / 年份 → 折线即时联动重算(多选会议在服务端求和)。
  4. 论文管理页查询无结果 → 空态卡片给出相近关键词推荐,并提供「联网爬取」入口(弹窗内说明 10s 超时约束)。
  5. 导入页提交 → 生成异步任务,进度列表逐条更新,完成后可跳转论文管理页查看结果。

4.4 与 AI 协作设计的过程与人工优化

img

AI 先给出布局初稿,我通过 7 轮截图走查逐轮发现问题并要求修改(完整过程见第六节案例 A):

  1. 第 1 轮:词云手工坐标严重重叠,颜色随机无含义 → 改为阿基米德螺旋布局 + 碰撞检测算法;颜色改为热度色阶并补图例;加"演示数据"角标。
  2. 第 2 轮:单色渐变对比弱,折线生硬难以区分主次 → 热度色阶抽成统一公共模块(金黄 → 橙 → 深红);折线改平滑贝塞尔曲线,线色与粗细按热度排名。
  3. 第 3 轮:图谱标签互相压盖,表格在窄屏溢出 → 标签按节点方位锚定;表格改 fixed 布局 + 横向滚动 + 分页。
  4. 第 4 轮:暗色模式黑红配色观感不佳 → 改为主题感知取色 hook(暗色蓝 → 青 → 绿),暗色底改深蓝。
  5. 第 5 轮:终检全流程测试 → 控制台无报错,5 页交互全部通过。
  6. 第 6 轮:导航区写死红色,与主题脱节 → 全局清理写死色号,统一走主题令牌。
  7. 第 7 轮:会议徽章配色割裂 → 新增暗色降饱和徽章色,由主题感知 hook 驱动。

原型阶段的这条教训直接沉淀成了代码规范里的一条:颜色一律走主题令牌,不写死色号。

4.5 原型截图

以下 5 张截图来自代码实现的交互原型:

img

原型图 1:首页总览——Hero 指标、热门方向词云、Top 20 热力条形图与关键词图谱同屏呈现,词云最大词 video/motion/depth 与成品数据一致。

img

原型图 2:热度走势页——多关键词热度折线对比,支持会议与年份区间筛选,图形化呈现各关键词的兴衰趋势。

img

原型图 3:论文列表管理页——支持精确/模糊查询、增删改与导出,表格列含标题、会议、年份、关键词。

img

原型图 4:数据导入页——支持单个论文题目输入与批量粘贴导入,附数据来源与限速说明。

img

原型图 5:关于页——介绍 CVPR/ICCV/ECCV 三大顶会背景与统计口径说明。


五、成品展示

平台已实现全部 5 项基础功能 + 6 项扩展功能。**部署地址:https://wang6855.pythonanywhere.com/**(PythonAnywhere 免费托管;部署步骤见仓库 部署说明.md)。
由于PythonAnywhere 免费档限制出站网络访问,故"联网爬取库外新论文"需完整网络环境;库内 27,366 篇数据的浏览、查询、增删改、导入查重、统计与可视化全部可用。
部署步骤见仓库内 部署说明.md(含数据库 WAL 落盘、安全组放行端口、gunicorn 单 worker 等踩坑点)。
以下截图均来自真实运行的系统(数据规模:27,366 篇论文 / 47,841 个热词)。

5.1 首页总览(功能 3:热门方向分析、功能 4:关键词图谱)

【图 1】首页总览(浅色主题)

img

img

说明:顶部 Hero 指标胶囊显示论文收录 27,366 篇、热词 47,841+;下方词云以字号与颜色双重编码词频,字号越大、颜色越暖表示该关键词越热,点击任一关键词可跳转论文页并自动带上过滤条件,可以选择中文版或者英文版。

【图 2】Top 10 热门方向热力条形图

img

说明:全库 Top 10 热门关键词中,排名前三的是 video(视频,462 次)、motion(运动/动作,458 次)、depth(深度估计,437 次),与 CV 领域常识吻合,说明关键词抽取、同义合并与统计口径没有跑偏。条形的颜色深浅由热度色阶决定(越暖越热),关键词带中文对照;图右侧同时展示了以最热词 video 为中心的关键词图谱。

【图 3】点击 Top 10 条目查看相关论文

img

说明:点击任意方向弹出抽屉,通过倒排索引实时查询该方向的论文列表(例如 'video' 命中 462 篇),无需跳页即可快速浏览。

【图 4】关键词图谱

img

说明:图谱包含 12 个节点、45 条共现边;最热词居中,卫星节点按共现强度排布,连线粗细正比于两个关键词的共现次数,点击节点可展开相关论文。

5.2 热度走势对比(功能 5:动图)

【图 5】热度走势动图播放中

img

说明:时间轴从 2019 年逐帧推进到 2025 年,画面带大号年份水印;曲线按热度排名着色。以 diffusion 为例,其词频从 2019 年的 0 一路上升到 2025 年的 96,是平台上最能说明"某个方向正在爆发"的一条曲线。

【图 6】年度热词演变榜单

img

说明:展示历年 Top 10 榜单的演变对比,名次徽章与升降箭头均基于真实排名逐届比对(如 motion ↑1、video ↑2),可直接看出方向的此消彼长。

【图 7】导出动图

img

说明:点击导出按钮真实下载录屏文件,满足作业对"动图形式呈现"的要求。

5.3 论文列表管理(功能 2)

【图 8】论文管理页总览

img

说明:会议徽章、关键词 Tag、服务端分页(共 27,366 篇,第 1 / 2737 页),支持按会议与年份筛选。

【图 9】模糊查询 'segmentation'

img

说明:模糊查询命中 3,634 篇,结果中的关键词标签可点击,用于二次过滤收敛范围。

【图 10】新增 / 编辑 / 删除论文

img

说明:删除有二次确认;修改保存后关键词倒排表立即可检索到新内容。

【图 11】查询无结果的空态引导

img

说明:输入 'segm' 这类不完整或库内不存在的词时,空态卡片给出相近关键词推荐(segmentation / segments / segment),并提供「联网爬取」按钮直接去外部数据源获取。

【图 12】收藏与导出 CSV / BibTeX

img

img

img

说明:导出文件为 UTF-8 带 BOM 编码,用 Excel 直接打开不乱码,可直接用于文献综述整理。

5.4 论文信息爬取与导入(功能 1)

【图 13】批量导入任务进度

img

说明:粘贴或拖入论文列表后生成异步导入任务,逐条展示状态——命中多篇时展开相似论文候选列表供"选择这篇"消歧,未找到的条目标红并可单独"重试",不影响其余条目。图中三条测试用例分别覆盖相似命中、未找到、相似命中三种分支。

【图 14】单篇爬取与候选确认

img

说明:输入 'Segment Anything' 后返回候选列表,由用户确认选择,再按(标题 + 年份)查重后入库,避免同名论文重复录入。

5.5 主题、多语言

【图 15】暗色模式+中英双语

img

说明:深蓝底配蓝绿热力色阶,与浅色模式的红黄热力是两套各自完整的配色体系,而非简单反色。切界面支持中 / EN 切换(含热词中文对照 90 条);在 390px 宽视口下导航折叠、图表自适应,布局不溢出。

5.6 关于页(扩展功能:了解更多)

【图 17】关于页

img

说明:三大会(CVPR / ICCV / ECCV)背景介绍、数据来源与获取方式、统计口径说明(词频如何计、热度公式怎么算、双年会增长率相对哪一届)、以及数据边界提示(口径详见文末附录)。这一页是"了解更多"扩展功能的落地位置,也是把统计口径讲清楚、避免读者误解数据的地方。


六、结对(人机)讨论过程描述

协作总模式:AI 出初稿 → 我逐条审查(质疑 / 验证 / 要求修改)→ 人工验证后采纳。AI 从来不是"一次生成就直接用"。以下 3 个代表性案例分别覆盖原型设计与需求迭代、编码实现、调试修复,均附关键提示词思路、AI 输出摘要与我的处置理由。三个案例的对话截图均已嵌入下文。

案例 A:AI 辅助原型设计与迭代优化(使用反馈驱动的返工)

背景:原型第一版上线后,我以真实用户视角逐页浏览体验,发现了一批"能用但不好用"的问题,于是直接用自然语言向 AI(全栈 Web 应用工程师智能体)提出修改要求。这一轮对话是原型"使用 → 反馈 → 修改 → 验证"迭代模式中最典型的一个回合——一次消息同时覆盖了视觉、功能范围澄清、新增需求、交互行为四类反馈。

AI 输出摘要:AI 用时约 10 分钟一次完成三项改动,并在浏览器里实测通过、同步更新了生产构建(dist):

  1. 词云字体加大:字号从 15–47px 提升到 22–64px,最热的词占据画面中心很大位置,整体明显铺满,AI 自行截图验证过效果;
  2. 全站中英翻译(不再只翻译标题):重写翻译词典(新增约 70 条文案)并支持参数替换,切换语言时全站所有文字(导航、按钮、空态提示、弹窗等)都会跟着切换;
  3. 论文标题英文化 + 点击返回原页面:补上论文标题的翻译条目,并调整点击行为让用户能从详情视图返回原来的页面。

我的验收与处置:三项修改全部采纳。我在浏览器里逐项复核:词云铺满效果达标、语言切换后表单/空态/弹窗文案确实全部切换、论文点击返回路径可用。

这轮协作的启示:

  • AI 实现的功能范围容易"缩水":中英双语功能 AI 第一版只做了几个导航标题,与我理解的"全文翻译"相差很远。返工时我把验收标准显式写进提示词("我希望的是全文翻译不是网页的几个标题翻译"),由此得出对 AI 提需求必须像写验收用例一样具体;
  • 一条消息打包多类反馈是高效的:四点反馈类型不同(视觉/范围/新增/交互),AI 能全部接住并一次性回归测试,省去了多轮往返;
  • 视觉类需求用对比描述:"太空了"配合"字体可以大一点"让 AI 准确理解了期望方向,AI 给出的具体数值方案(22–64px)直接采纳。

对话截图:

img

案例 B:AI 辅助编码——数据处理方案审查与数据源覆盖修正

爬虫模块(数据流水线)是整个平台的地基。这个案例的起点,是我审查 AI 起草的《数据处理方案》时的一次点名质疑:方案里只写了"爬 CVF 全站",却从未实际核对过每一届的数据源覆盖率。

AI 输出摘要(约 46 秒返回):AI 先承认数据源覆盖"正是方案里最薄弱的一条",随后按 CVF Open Access 的公开页面把 14 届收录数逐届实测核对,产出"届次 / 官方公布接收 / CVF 开放获取实际收录 / 结论"四列对照表。

我的验证与处置:我先人工打开 CVF 的 ICCV 2019 四个分页抽查条数,与对照表一致后才采纳。修正后的口径落到了三处:verify.py 验收脚本的官方参考值改为 1,077、平台"关于"页的数据边界说明、本文附录;并要求 AI 把这次一次性人工核对固化为自动验收(逐年数量对照 + 摘要覆盖率 + 抽样打开论文页链接核对),之后每次重建数据都可复跑。

启示:AI 初稿中的事实性数字(官网届数、官方录取数、覆盖率)必须人工点名复核;而且**"让 AI 拿着公开页面逐项实测"远比"让它解释出处"可靠**——实测立刻暴露了 1,447 这个参考值从何而来、错在哪里。

对话截图:

案例 B:数据处理方案逐条核查与数据源覆盖修正的对话记录

案例 C:AI 辅助调试——发现 AI 代码错误并纠正(三轮典型对话)

调试阶段的协作模式大多是"我发现现象 → AI 给假设与修复 → 我验证并追问",下面选三轮最有代表性的对话。

C1(第 1 轮,最典型):潜伏的变量同名遮蔽 TypeError

人工验收批量导入时,凡真正需要新入库的论文全部失败,报 cannot unpack non-iterable function object。

  • AI 定位:缓存变量与函数同名——模块先有 _resources = None 的缓存占位,随后又被 def _resources(conn): 覆盖;函数定义执行后全局名指向函数对象,于是 if _resources is None 永远为假,直接 return _resources 返回了函数自身,最终在 vocab, idf = _resources(conn) 处解包失败。
  • 我的验证与纠正:AI 建议改名为 _res_cache,正确;但我进一步追问"为什么此前测试没有发现"——因为测试用的题目库里已存在,走查重逻辑提前返回,从未触达新入库分支。这条教训写进了测试规范:测试必须覆盖每条分支的首次执行,不能用恰好命中捷径的数据。

对话截图(定位 → 根因 → 修复全过程):

img

C2(第 2 轮):一次"虚惊"排查——口径核查与一次对 AI 方案的拒绝

验收热度走势页时我怀疑两处:①单选 ICCV 时,2020/2022/2024 三年曲线整体塌到 0(ICCV 是奇数年办会,那几年根本没有 ICCV 论文);②"全部会议"走势的合计数值可能与首页 Top 10 卡片对不上。这轮对话我先把两个现象抛给 AI("ECCV 2020 明明没有办会,为什么图上是 0?走势合计和 Top 10 为什么对不上?"),AI 确认了前者的根因是后端对缺失年份补了 0(/api/stats/trend 的"缺失年份补 0 保证 x 轴连续"契约),并建议把休会年份改为曲线断点、两处口径统一重算。我没有直接采纳这个修复方案,而是回到数据库逐行实测核对:每篇论文只计入"一年一会",趋势的逐年合计与 Top 10 的命中论文数恰好相等——"对不上"是虚惊,两处口径天然一致;至于休会年份补 0,我认为没办会就没有论文,该会议当年贡献的热度就是 0,这与平台的口径定义自洽,且默认的三会全选视图完全不受影响,于是拒绝了断点方案,改为在走势图下方加一行统计口径说明(ICCV / ECCV 隔年办会,单选该会议时休会年份按 0 计)把含义向用户讲清楚。这轮的价值在于:对 AI 的质疑即使最终是虚惊也值得——口径被彻底搞清楚了;而且 AI 的修复建议同样可以被拒绝,前提是把拒绝的理由想清楚、写下来。

C3(第 3 轮):切换主题/缩放窗口后词云重绘异常

切换暗色主题或拖动窗口宽度时,词云偶发字号溢出容器、或残留上一帧的残影。AI 第一版方案是用 setInterval 轮询容器尺寸变化后重绘。

我认为不是很合理,因为轮询既浪费性能又仍会在两次轮询之间闪一帧残影,要求改用 ResizeObserver 监听加防抖重建;AI 改完后我又追问"防抖间隔取多少、重建前要不要清画布",最终定为 200ms 防抖、重建前先清空画布。我连续切换主题、拖动窗口各实测十余次,确认无溢出、无残影后才收货。这轮的价值在于:AI 给出的"能跑"方案未必是"好用"的方案,第一版方案里的性能与体验问题要靠人工审查揪出来。

共性启示:

  • 现象由我发现、假设由 AI 提出、验证由我完成——AI 负责缩小排查范围,最终的正确性判断不外包;
  • 对 AI 的修复方案要连环追问("为什么之前没发现?""间隔取多少?"),追问往往能带出更深一层的问题(测试分支覆盖、口径定义、重绘策略);
  • 凡涉及数据与视觉的修复,一律回到浏览器/数据库实测验收,不采信 AI 口头的"已修复"。

七、设计实现过程

7.1 功能结构图

                        ┌─────────────────────────────────────┐
                        │        CV 顶会热词统计平台            │
                        └─────────────────────────────────────┘
   数据层(离线,一次构建)                服务层(Flask,端口 5001)          展示层(React SPA)
┌──────────────────────┐        ┌──────────────────────────┐    ┌──────────────────────┐
│ ① 题录爬取 crawl_listing│        │ api_stats   Top10/走势/图谱 │    │ 首页总览              │
│ ② 摘要爬取 crawl_cvf   │        │ api_papers  增删改查/分页   │    │  词云·Top10·图谱      │
│ ③ 清洗+同义合并 clean   │──SQLite─▶│ api_fetch   单篇/批量异步   │───▶│ 热度走势(动图+导出)  │
│ ④ 关键词抽取 extract    │ cv_papers│ api_export  CSV/BibTeX    │    │ 论文管理(增删改查)   │
│ ⑤ 统计预计算 build_stats│  .db   │ rebuild     防抖重建守护线程 │    │ 数据导入(单篇+批量)  │
│ 在线补爬 online_fetch   │        └──────────────────────────┘    │ 关于(来源/口径说明)  │
└──────────────────────┘                                        └──────────────────────┘

7.2 关键设计决策

  • 数据库选 SQLite(WAL 模式),而非 MySQL / PostgreSQL:单文件零运维,部署时只需拷贝一个文件;2.7 万篇的数据量远达不到使用 MySQL 的必要性。
  • 后端选 Flask 蓝图,而非 Django / FastAPI:本项目只有十几个 JSON 接口,Django 太重;FastAPI 的异步能力对串行限速的爬取任务没有意义。
  • 前端沿用原型的 React + TS 技术栈,而非 Vue:原型阶段已经用 React + shadcn/ui 搭建,迁移成本不划算;TypeScript 的类型检查能让前后端字段对不齐的问题在编译期就暴露。
  • 统计采用预计算表,而非查询时实时聚合或用 Redis:读多写少,空间换时间,实测最慢接口 519ms。
  • 重建采用防抖线程,而非每次写操作同步重建或引入 Celery:批量导入 N 次变更可以合并为 1 次重建,引入消息队列对课程项目属于过度设计。
  • 离线流水线与在线补爬复用同一套模块,而非在后端重写一套:清洗与关键词抽取算法只有一份,统计口径天然一致。

7.3 设计的合理性与创新性

  • 读写分离是这个平台最核心的设计选择:2.7 万篇论文的统计结果如果每次请求都实时聚合,即使加索引也撑不住 <1s 的要求;把它预先算成表、写操作只负责触发一次防抖重建,等于把"贵"的计算从读路径挪到了写路径,而写操作一天也就几次。这也是本平台能"用 SQLite 扛住 2.7 万篇数据"的前提。
  • 统计口径只有一处定义:_parse_scope(会议与年份筛选)与 extract_for(关键词抽取)各自只有一个入口,离线流水线与在线补爬共用同一套。口径定义散落在多个接口,是数据类项目最容易出现"同一个词两个接口给出不同数字"的地方。
  • **统计可视化用"预计算 + 真实排名"而非"看起来热闹"**:年度热词演变榜单的名次升降箭头完全来自逐届真实词频排名,不做任何手工修饰;数据边界(ICCV 2019 与官方公布数相差 2 篇)就在关于页如实说明,而不是补一个假数字。
  • 在线补爬只入库可归一的会议:OpenAlex 检索回来的论文,只有能明确归入 CVPR / ICCV / ECCV 的才参与热词统计,其余仅返回给用户查看。避免把非顶会论文混进统计口径,导致"热门方向"失真。

7.4 扩展功能(附加分项,均已实现)

  1. 年度热词演变(附加功能 1):展示历年 Top 10 榜单的演变对比。实现方式是取每一年各自的真实排名逐届对比,展示名次徽章与升降箭头(例如 motion 上升 1 位、video 上升 2 位),能直观看出方向之间的此消彼长。数据全部来自预计算表,无人工修饰。
  2. 了解更多(附加功能 2):在"关于"页用图文介绍 CVPR / ICCV / ECCV 三大顶会的背景(创办年份、举办周期、与 CV 领域的关系),并说明本平台的统计口径与数据来源、数据获取方式,同时如实标注数据边界(口径详见文末附录)。这一页的作用是把"数字是怎么来的"讲清楚。
  3. 收藏夹与文献导出:可对论文加收藏,并导出为 CSV 或 BibTeX。CSV 使用 UTF-8 带 BOM 编码,Excel 直接打开不乱码;BibTeX 可直接导入 LaTeX 或 Zotero,服务于写文献综述的真实场景。
  4. 暗色模式与主题感知配色:不是简单反色,而是两套各自完整的色阶体系——浅色模式走"金黄 → 橙 → 深红"的热力色,深色模式走"蓝 → 青 → 绿"(与深蓝底协调)。取色统一由一个 hook 提供,词云、条形图、折线、徽章全部跟随。
  5. 中英双语:除界面文案外,还维护了 90 条 CV 热词的中文对照,英文关键词在中文界面下会显示中文注释(如 diffusion → 扩散模型),降低初学者的理解门槛。
  6. 批量导入的失败重试与空态引导:批量导入中失败的条目可以单独重试,不必重跑整批;查询无结果时不是丢一个"暂无数据"了事,而是给出相近关键词推荐(输入 segm 会推荐 segmentation / segments / segment)并引导联网爬取。

7.5 遇到的问题与解决

  1. 2.7 万篇统计查询无法稳定在 1s 内 → 预计算 keyword_stats(含 ALL 聚合行)与 keyword_papers 倒排表,接口响应降到 ≤104ms。
  2. SQLite 写锁冲突 → busy_timeout 30s + WAL 模式 + 防抖重建。
  3. 数据变更后统计一致性 → 守护线程 + Event + 脏标志,"先清标志再重建"保证最终一致。
  4. 批量爬取不能同步等待 → 异步任务 job_id + 轮询进度 + 单条重试。
  5. DBLP 被人机校验拦截 → 预爬改走 CVF / ECVA 官网,在线检索改走 OpenAlex。
  6. CVF 链接拼接错误导致 404 → 修复 base 路径 + 2.2 万篇重爬 + 链接可访问性纳入自动验收。
  7. 变量同名遮蔽导致 TypeError → 改名 _res_cache,并规定测试必须覆盖每条分支的首次执行。
  8. 未知 API 路径被 SPA 兜底返回 HTML → 对 api/ 前缀路径统一返回 JSON 格式的 404。
  9. 中文词云重叠 → 螺旋布局 + 中文字符宽度估算修正。

7.6 质量保障

  • API 层:33 项断言全部通过,其中包含 13 项恶意与边界输入(SQL 注入尝试、非法分页、空请求体等)。
  • UI 层:Playwright 端到端 24 项断言全部通过,全程无 console 报错。
  • 数据体检:总数基准比对、无重复题录、无孤儿倒排记录、摘要覆盖率约 100%。期间一次 UI 自动化误删了 2 篇论文,靠流水线的断点续爬幂等设计完整恢复到与基准逐篇一致。
  • 人工验收:40+ 检查项逐功能走查(C1、C2 两个问题就是在这一阶段发现的)。

八、代码说明

可解释性声明

由 AI 生成初稿、经我审查修改后入库的部分:

  • 数据流水线各模块(crawl_listing / crawl_cvf / clean / extract_keywords / build_stats / http_client / db / online_fetch):AI 出初稿,我修改了 CVF 链接拼接路径、去重口径、断点续爬逻辑,并修正了 _resources 变量遮蔽这个致命 bug(见第六节 C1)。
  • 后端接口(api_stats / api_papers / api_fetch / api_export,共 13 个接口):AI 生成骨架,我确定了统计口径并抽取出统一入口 _parse_scope,同时拒绝了一部分 AI 建议(如"重建期间暂停写服务")。
  • 前端页面(Home / Papers / Trends / ImportPage / About)与可视化组件:AI 生成初稿,我通过 7 轮走查修改了配色体系、主题令牌、词云布局与表格溢出问题。
  • 需求分析文档与数据处理方案:AI 起草,我做了五轮逐条修订(会议届数、增长率口径、不存在的字段等)。

由我设计或编写为主的部分:

  • 统计口径的定义:一篇论文对一个关键词计 1 次、年度热度公式、双年会相对同会议上一届、跨会聚合行单独处理;
  • 架构方案:预计算统计表 + 防抖重建(AI 同时给了 Redis 备选,方案由我选定);SQLite 而非 MySQL 的取舍;
  • _parse_scope 这个统一口径入口的设计;
  • 词云布局中的中文字符宽度估算修正(螺旋布局与碰撞检测来自 AI);
  • 全部测试用例与验收清单(API 33 项断言、UI 24 项断言、人工验收 40 项,含 SQL 注入等恶意输入用例);
  • codestyle.md、README.md、部署说明.md 与本文博客。

属于第三方脚手架、不参与本次代码说明的部分: frontend/src/components/ui/ 下为 shadcn/ui 组件库源码,package-lock.json 由 npm 自动生成。

8.1 防抖重建守护线程(backend/rebuild.py,数据一致性的核心)

_lock = threading.Lock()          # 保护 _dirty 标志
_wakeup = threading.Event()       # 唤醒重建线程
_dirty = False                    # 是否有待重建的数据变更

def schedule_rebuild():
    """数据变更后调用:置位 dirty 并唤醒重建线程(立即返回,不阻塞)。"""
    global _dirty
    with _lock:
        _dirty = True
    _wakeup.set()

def _worker():
    from build_stats import run as build_stats_run
    while True:
        _wakeup.wait()            # 挂起等待数据变更通知
        _wakeup.clear()
        time.sleep(1.5)           # 防抖:合并密集变更(如批量导入逐条入库)
        while True:
            with _lock:
                if not _dirty:
                    break
                globals()["_dirty"] = False   # 先清标志再重建
            try:
                build_stats_run()  # 全量重建 keyword_stats + keyword_papers
            except Exception:
                traceback.print_exc()

设计思路:写接口只调用 schedule_rebuild() 置位后立即返回(毫秒级);重建线程被唤醒后先延迟 1.5s,把密集变更合并成一轮(批量导入 N 条只触发 1 次重建)。**"先清标志再重建"是关键顺序**——重建期间若又有新的变更,标志会被重新置位,本轮结束后自动再跑一轮,从而保证最终一致且不丢任何一次变更通知。备选的"每次写同步重建"会让写接口从 9ms 膨胀到秒级。

8.2 统计接口的筛选口径统一(backend/api_stats.py)

def _parse_scope(args):
    """统一解析"会议 + 年份"筛选参数(所有统计接口共用)。
    venue=ALL → 跨会聚合行;venue=CVPR → 单会;venues=CVPR,ICCV → 多选求和
    """
    venues_param = (args.get("venues") or "").strip()
    venue_param = (args.get("venue") or "ALL").strip().upper()
    if venues_param:                       # 多选优先(走势页复选框)
        venues = [v.strip().upper() for v in venues_param.split(",") if v.strip()]
        venues = [v for v in venues if v in MAIN_VENUES] or list(MAIN_VENUES)
    elif venue_param in MAIN_VENUES:
        venues = [venue_param]
    else:
        venues = None                      # 全部 → 用 ALL 聚合行
    year_raw = (args.get("year") or "ALL").strip()
    year = int(year_raw) if year_raw.isdigit() and int(year_raw) in YEARS else None
    return venues, year

@api_stats.get("/api/stats/top")
def stats_top():
    """Top N 热门方向:全期返回累计词频;具体年份额外返回增长率与热度。"""
    limit = min(max(int(request.args.get("limit", 10)), 1), 50)
    venues, year = _parse_scope(request.args)
    where, params = _stats_where(venues, year)
    conn = get_conn()
    if year is None:
        rows = conn.execute(f"""SELECT keyword, SUM(tf) AS tf FROM keyword_stats
            WHERE {where} GROUP BY keyword ORDER BY tf DESC LIMIT ?""",
            params + [limit]).fetchall()
        items = [{"keyword": r["keyword"], "tf": r["tf"]} for r in rows]
    else:
        rows = conn.execute(f"""SELECT keyword, tf, growth, heat FROM keyword_stats
            WHERE {where} ORDER BY tf DESC LIMIT ?""",
            params + [limit]).fetchall()
        items = [{"keyword": r["keyword"], "tf": r["tf"],
                  "growth": round(r["growth"], 4), "heat": round(r["heat"], 2)}
                 for r in rows]
    conn.close()
    return jsonify({"items": items})

设计思路:5 个统计接口共用 _parse_scope,把"单会 / 多选 / 跨会聚合"三种口径收敛到一个入口,避免每个接口各自解析造成口径漂移;查询全部命中预计算表索引,实测 ≤104ms。参数校验放在系统边界(HTTP 层),内部则信任预计算表的数据。

8.3 走势接口:多选会议服务端求和(backend/api_stats.py)

@api_stats.get("/api/stats/trend")
def stats_trend():
    """指定热词的逐年热度序列;缺失年份补 0 保证 x 轴连续。"""
    venues, _ = _parse_scope(request.args)
    where, params = _stats_where(venues, None)   # 走势必须覆盖全部年份
    keywords = [k.strip() for k in (request.args.get("keywords") or "").split(",")][:20]
    series = {kw: {str(y): 0 for y in YEARS} for kw in keywords}
    if keywords:
        marks_kw = ",".join("?" * len(keywords))
        conn = get_conn()
        rows = conn.execute(f"""SELECT keyword, year, SUM(tf) AS tf
            FROM keyword_stats WHERE {where} AND keyword IN ({marks_kw})
            GROUP BY keyword, year""", params + keywords).fetchall()
        conn.close()
        for r in rows:
            series[r["keyword"]][str(r["year"])] = r["tf"]
    return jsonify({"series": series, "years": YEARS})

设计思路:多选会议(如 CVPR + ICCV)的求和在 SQL 的 SUM 内完成,并与预计算的 ALL 行逐年比对验证口径精确(功能检查项:两会求和序列 = 各自序列之和)。缺失年份补 0 是前端折线连续性的契约。

8.4 限速 HTTP 客户端(数据准备/data_pipeline/http_client.py)

"""限速 HTTP 客户端:失败(超时/5xx/429)指数退避重试 3 次(1s/4s/16s)。
每源独立限速:CVF/ECVA ≤ 2 req/s;OpenAlex 取保守值。
"""
_DEFAULT_INTERVAL = 0.5
_SOURCE_INTERVALS = {
    "cvf": 0.5,       # CVF Open Access / ECVA(学术站点,礼貌限速)
    "openalex": 0.3,  # OpenAlex(官方建议 ≤10 req/s,取更保守值)
    "dblp": 0.5,      # 预留(当前已弃用,见数据处理方案)
}
_BACKOFFS = (1, 4, 16)
_last_request = {}
_session = requests.Session()
_session.headers.update({
    "User-Agent": "cv-hotwords-coursework/1.0 (course project; polite crawl)"
})


def _throttle(source):
    """按数据源各自的最小请求间隔休眠,保证同一秒内不连续打两次。"""
    now = time.monotonic()
    wait = _interval(source) - (now - _last_request.get(source, 0.0))
    if wait > 0:
        time.sleep(wait)
    _last_request[source] = time.monotonic()


def fetch(url, source="cvf", params=None, timeout=10, retries=3):
    """GET 请求。2xx 返回 Response;可重试错误退避重试后仍失败则抛异常;
    其余 4xx 直接抛出。429 时优先遵循响应头 Retry-After(秒)。
    """
    for attempt in range(retries + 1):
        _throttle(source)
        try:
            resp = _session.get(url, params=params, timeout=timeout)
            if resp.status_code == 200:
                return resp
            if resp.status_code == 429 or resp.status_code >= 500:
                retry_after = resp.headers.get("Retry-After")
                wait = _BACKOFFS[min(attempt, len(_BACKOFFS) - 1)]
                if retry_after and retry_after.isdigit():
                    wait = max(wait, int(retry_after))   # 服务端说要等多久就等多久
                if attempt >= retries:
                    raise requests.RequestException(f"HTTP {resp.status_code}")
                time.sleep(wait)
                continue
            resp.raise_for_status()  # 其余 4xx 不重试(请求本身有问题,重试无意义)
        except requests.RequestException:
            if attempt >= retries:
                raise
            time.sleep(_BACKOFFS[min(attempt, len(_BACKOFFS) - 1)])
    raise requests.RequestException("unreachable")

设计思路:整套爬取的稳定性都压在这一个模块上,所以它只做三件事——限速、重试、区分错误类型。限速按数据源分别记录上次请求时间(_last_request 字典),而不是全局一个计数器,这样多源交替抓取时各自互不干扰;退避用 1s / 4s / 16s 而不是固定间隔,避免在对方已经限流时继续高频冲撞;关键取舍是4xx 不重试——404 这类错误重试一万次也还是 404,只有 429 和 5xx(临时性错误)才值得重试,这一条直接决定了后面 fetch_failures 表不会陷入死循环。429 时优先采用响应头里的 Retry-After,是"听服务端的话"而不是自己拍脑袋。

8.5 词云螺旋布局(编码实现/frontend/src/pages/Home.tsx)

/** 中文/全角字符宽约 1em,其余按 0.62em 估算(词云排版宽度用) */
const textWidthUnits = (text: string) =>
  [...text].reduce((acc, ch) => acc + (/[一-鿿 -〿＀-￯]/.test(ch) ? 1 : 0.62), 0);

function buildCloud(items: TopItem[], W = 680, H = 340, mode: HeatMode = "warm"): CloudWord[] {
  const sorted = [...items].sort((a, b) => b.tf - a.tf);
  if (sorted.length === 0) return [];
  const max = sorted[0].tf, min = sorted[sorted.length - 1].tf;
  const boxes: { x1: number; y1: number; x2: number; y2: number }[] = [];
  const words: CloudWord[] = [];
  const cx = W / 2, cy = H / 2 - 10;
  // 矩形碰撞检测:外扩 6px / 4px 留出字距,避免两个词贴在一起看不清
  const collides = (x1: number, y1: number, x2: number, y2: number) =>
    boxes.some((p) => !(x2 + 6 < p.x1 || x1 - 6 > p.x2 || y2 + 4 < p.y1 || y1 - 4 > p.y2));

  for (const it of sorted) {
    const ratio = (it.tf - min) / Math.max(max - min, 1);
    let size = 22 + ratio * 42;                 // 字号严格随词频线性增大:22px → 64px
    let final: { x: number; y: number } | null = null;
    for (let shrink = 0; shrink < 5 && !final; shrink++, size *= 0.88) {
      const w = textWidthUnits(it.keyword) * size + 10;
      const h = size * 1.2;
      for (let step = 0; step < 3000; step++) {
        const t = step * 0.28;                  // 阿基米德螺旋:半径随角度线性增长
        const r = 3.2 * t;
        const x = cx + r * Math.cos(t) * 1.45;  // x 拉伸、y 压扁 → 适配 2:1 画布
        const y = cy + r * Math.sin(t) * 0.72;
        const x1 = x - w / 2, y1 = y - h / 2, x2 = x + w / 2, y2 = y + h / 2;
        if (x1 < 6 || x2 > W - 6 || y1 < 6 || y2 > H - 6) continue;  // 出界换下一个点
        if (!collides(x1, y1, x2, y2)) { final = { x, y }; boxes.push({ x1, y1, x2, y2 }); break; }
      }
    }
    if (final) {
      words.push({ en: it.keyword, display: it.keyword, x: final.x,
                   y: final.y + size * 0.34, size, color: heatColor(ratio, mode), count: it.tf });
    }
  }
  return words;
}

设计思路:词云最怕的是"重叠成黑疙瘩",所以布局的核心是碰撞检测 + 螺旋寻位:从画布中心出发沿阿基米德螺旋逐点试探(每步 0.28 弧度,最多 3000 步),找到一个不与已有词语矩形相交的位置就落子——这样热词自然落在中心、冷门词被推到边缘,视觉上自带"热度向心"的效果。放不下时的处理是逐步缩小字号重试(最多 5 轮,每次 ×0.88),而不是直接丢弃这个词。AI 初稿的宽度直接用 text.length 估算,中文词必然会互相压盖,我把它改成按字符宽度加权(中文与全角字符算 1em、其余 0.62em),中文界面下的重叠问题才解决。

8.6 模糊查询与倒排过滤(编码实现/backend/api_papers.py)

def _parse_query_params(args):
    """解析列表/导出共用的查询参数(保证两处口径一致)。
    返回 (where_sql, params, mode)。
    """
    mode = (args.get("mode") or "fuzzy").strip().lower()
    q = (args.get("q") or "").strip()
    venue = (args.get("venue") or "").strip().upper()
    year_raw = (args.get("year") or "").strip()
    keyword = (args.get("keyword") or "").strip()

    where, params = [], []

    # 会议筛选:仅接受三大主会合法值
    if venue in MAIN_VENUES:
        where.append("p.venue = ?")
        params.append(venue)

    # 年份筛选:必须是统计范围内的合法年份
    if year_raw.isdigit() and int(year_raw) in YEARS:
        where.append("p.year = ?")
        params.append(int(year_raw))

    # 关键词筛选(词云/图谱点击跳转场景):走倒排索引,不做 JSON 全表 LIKE
    if keyword:
        where.append(
            "EXISTS (SELECT 1 FROM keyword_papers kp "
            "WHERE kp.paper_id = p.paper_id AND kp.keyword = ?)")
        params.append(keyword.lower())

    if q:
        if mode == "exact":
            # 精确查询:题目完全一致(不区分大小写),或按论文编号查询
            where.append("(p.title = ? COLLATE NOCASE OR p.rowid = ?)")
            params.append(q)
            params.append(int(q) if q.isdigit() else -1)
        else:
            # 模糊查询:题目 / 摘要 / 会议 / 关键词 任一命中
            like = f"%{q}%"
            where.append(
                "(p.title LIKE ? OR p.abstract LIKE ? OR p.venue LIKE ? "
                "OR EXISTS (SELECT 1 FROM keyword_papers kp "
                "           WHERE kp.paper_id = p.paper_id AND kp.keyword LIKE ?)")
            params += [like, like, like, like]
            if q.isdigit():                     # 编号支持精确数字匹配
                where[-1] += " OR p.rowid = ?"
                params.append(int(q))
            where[-1] += ")"

    where_sql = (" WHERE " + " AND ".join(where)) if where else ""
    return where_sql, params, mode

设计思路:三处细节值得说明。第一,关键词筛选走 keyword_papers 倒排表而不是对 papers.keywords 做 LIKE——关键词在 papers 表里是 JSON 字符串,LIKE 会误命中(搜 segment 会匹配到 segmentation),而且没法用索引,2.7 万行全表扫会明显卡顿;倒排表是精确匹配且带索引。第二,条件按白名单校验后再拼 SQL,会议只接受三大主会、年份必须在统计范围内,其余一律忽略,避免拼接出非法条件。第三,所有值都走参数化占位符(?),参数由 SQLite 驱动转义,这也是第七节里那 13 项恶意输入断言(含 SQL 注入尝试)能全过的原因。这个函数被列表接口与导出接口共用,保证"屏幕上看到的就是导出文件里的"。

九、心路历程与收获

  • 与 AI 结对像"司机—领航员"角色互换:AI 写代码极快,但领航员的角色必须由我承担——五轮方案检查、7 轮原型走查、40 项人工验收,每一轮都在抓 AI 的问题。AI 负责"产出量",我负责"正确性"。
  • AI 不会替我做架构决策,但能把决策变成可执行方案:预计算 vs 缓存、SQLite vs MySQL、拒绝 abstract_quality 字段——这些取舍是我做的,AI 负责把选定的方案铺成细节。
  • 最有价值的三条教训:
    1. 测试要覆盖每条分支的"首次执行"(同名遮蔽 bug 正因长期只测到"已存在"这条捷径而潜伏);
    2. AI 生成的爬虫必须端到端访问真实 URL 验证,不能只看解析出的字段数量(2.2 万篇 404 的教训);
    3. 颜色、口径这类"约定"必须收敛到唯一入口(主题令牌、_parse_scope),否则多主题、多口径必定出错。
  • PSP 感想:预估偏差最大的几项都落在"测试与走查"上——和人结对时代码复审有同伴分担,AI 结对时复审责任全部落回自己,这部分时间省不掉,也不应该省。

十、对 AI 结对伙伴的评价

贡献:

  • 生产力:初稿级产出极快,编码阶段帮助我显著提速;
  • 知识广度:OpenAlex / CVF / ECVA / BibTeX / SQLite WAL 等领域知识即问即答,帮我快速穿过不熟悉的技术栈;
  • 不知疲倦的评审员:用"按严重程度排序列问题"的方式让 AI 自查,每次都能再抓出 2~4 处问题。

局限:

  • 幻觉与过度自信:会引用不存在的字段(abstract_quality)、编造不可构造的 URL 规则(从 DBLP 的 ee 字段推导 CVF 链接)、算错会议届数——所有事实性数字与外部 URL 都必须人工核对;
  • 知识截止:不知道 DBLP 已启用 Anubis 人机校验、不知道 CVF 部分年份 ?day=all 不可用——外部世界的当前状态必须自己实测;
  • 长文档自洽性差:五轮修改中每轮引入新问题,需要我维护一份"事实清单"反复对表;
  • 测试盲区:AI 写的测试倾向使用"能通过"的数据,恰好命中捷径分支(已存在的论文),从而掩盖了新入库路径的 bug。

一句话总结:AI 是一个知识渊博、手速惊人、但从不为自己代码负责的结对伙伴——它可以承包 80% 的打字量,但剩下 20% 的怀疑、验证与决策,需要人工审查。


附:数据来源与统计口径声明

  • 数据来源:CVF Open Access(CVPR / ICCV)与 ECVA(ECCV)官方开放获取页面,2019–2025 共 14 届、27,366 篇;在线按题检索使用 OpenAlex 公共 API。爬取限速 ≤2 req/s、失败指数退避、断点续爬,仅用于课程教学。
  • 统计口径:一篇论文对某关键词计 1 次;关键词统一小写、同义缩写合并(CNN = convolutional neural network)、简单词干化;年度热度 = 词频 × (1 + 年份增长率),双年会相对同会议上一届,跨会聚合相对上一年度;英文摘要按空格与标点分词 + 停用词过滤,不使用 jieba(中文分词工具不适用于英文语料)。
  • 数据边界说明:ICCV 2019 官方公布接收 1,077 篇,CVF 开放获取收录 1,075 篇(逐日分页实测 294+153+318+310),本库与 CVF 收录数完全一致,已在平台"关于"页注明。
...全文

相关推荐

国央企创新负责人如何在科技创新过程中实现资源的智能配置与高效协同.docx

国央企创新负责人如何在科技创新过程中实现资源的智能配置与高效协同

BIZKEEN

阀门与管道计算工具包(Excel 6 表:安全阀排量/Kv换算/管道压降/换热初算/壁厚校核)

【内容概要】 Excel 工程计算工具包,共 6 个工作表,全部带可查看公式,黄色格填参数、其余自动计算: 1. 安全阀排量:按 ISO 4126 / GB 12241 思路的气相泄放能力估算(临界流判断、最小泄放面积) 2. 阀门 Kv/Cv 换算:Kv 与 Cv 互转、体积流量估算 3. 管道压降:达西公式 + Swamee-Jain 摩阻系数,含沿程与局部阻力拆分 4. 换热初算:逆流 LMTD 法算所需传热面积,附建议裕量 5. 壁厚校核:内压筒体壁厚初算(GB/T 20801 思路),给名义壁厚建议 6. 报价参考表:常见工程服务的价格区间与交付周期 【适用人群】 阀门/泵/管道设计与选型人员、设备厂技术支持、工程公司投标人员、机械专业学生做课程设计。 【使用场景】 - 客户问"这个口径够不够""压降多少"时快速出数 - 投标前做方案初算,避免拍脑袋 - 教学演示:公式与数值一一对应,可核查 【说明】 本工具为工程估算用途,正式设计计算书仍需按标准完整校核(含背压、温度修正、材质与裕量)。文件为 xlsx,无需插件。

nanami_yao

Qt车载HMI界面还原实战包:4子页空调面板源码+像素对比脚本+221条交互验收,附测量口径与残差归因

本资源为车载 HMI 界面(1920×720 空调控制面板)的 Qt 完整实现与验收工具链,可直接编译运行,也可作为团队建立"可复核验收标准"的参照模板。 一、工程源码(src/ 约 1080 行) 1. pages.cpp:空调、除霜、强制模式、新风控制 4 个子页绘制,含双卡互斥抽象,便于扩展新页面; 2. acwindow.cpp:真实 QMouseEvent 点击路径,状态机与命中区判定; 3. ui.cpp:字体与绘制封装,含以墨顶为锚点的垂直压缩实现(可经环境变量关闭); 4. uitest.cpp:344 行交互验收断言,覆盖点击命中、状态互斥、配色切换与整帧回归。 5. main.cpp:提供 --shots 批量截图、--uitest 离屏验收、--probe 字体光栅化探测三种运行模式。 二、切图素材(assets/ 34 项) PNG 透明底切图,含选中/未选中两套图标,命名与控件一一对应,便于替换为自有设计资源。 三、验收与对比工具 compare.py 做多阈值像素对比,输出 any/gt8/gt16/mae/PSNR 五项指标;capture_window.ps1 抓真实窗口画面,用于校验离屏渲染路径。 四、随包文档与实测数据 逐条控件清单、对比报告(含四版收敛序列、压缩比例扫描 0.86~0.94、残余差异归因)、验收报告、221 条断言原始日志,以及原型与实现的并排图和差异热图。

GeekArch

加减放大电路multisim仿真

利用Multisim软件进行仿真验证反相求和电路输出与输入极性相反;同相求和电路输出与输入同相;加减电路则可实现多信号的综合运算 参考文章:https://blog.csdn.net/weixin_43348794/article/details/151766897?spm=1001.2014.3001.5502

粟米茶

飞塔防火墙固件 201f

飞塔防火墙固件 201f

weixin_53281870
评论
收藏 已收藏
分享
返回顶部