Skip to content

3.3 评估门禁与指标 ​

评估回答「模型到底行不行」,门禁回答「行到什么程度才让出厂」。门禁是导出的前置条件(见 3.4),不是参考数字。

指标定义 ​

训练完成后自动在 val(或指定 test)集上评估,产出四类指标。

总体指标 ​

指标定义怎么用
Precision(精确率)模型说「有缺陷」时,说对的概率误报成本高的场景盯它
Recall(召回率)真实缺陷中,被抓出来的比例漏检成本高的工业场景盯它
mAP@50IoU≥0.5 阈值下的平均精度定位要求不严时的主指标
mAP@50-95多个 IoU 阈值的平均定位精度要求高时看它(比 @50 严格得多)

分类指标 ​

视图用途
按类别 P/R/AP找出「拖后腿的类别」——某类 AP 极低时优先补该类数据
混淆矩阵类别间互相误判的结构(A 常被认成 B)
PR 曲线按置信度阈值扫描的权衡,用于选部署阈值

样本级视图 ​

视图用途
漏检样例Recall 的直接抓手:逐个看「为什么没检到」,反推数据/配置问题
误报样例Precision 的抓手:背景相似物?标注错误?
最差 Batch快速定位系统性问题(整批图都有同一干扰)

先看漏检,再看误报

工业场景漏检的代价通常高于误报(人工复检可以兜误报,兜不住漏检)。Recall 不达标时,优先扩数据而不是调阈值——调阈值只是把漏检转成误报。

评估流程 ​

  1. 训练完成自动触发(3.1 的「自动评估」保持开启);
  2. 训练 → 任务 → 评估 页查看四类指标;
  3. 逐类检查 → 漏检/误报抽样 → 得出「达标 / 不达标 + 原因」;
  4. 不达标回 3.1 改配置或回 2.2 补数据,重新生成版本再训。

门禁(Gate) ​

门禁在 设置 → 训练门禁 按项目配置:

门禁项典型配置未达标后果
总体 mAP@50-95≥ 0.65(按场景调整)不允许导出
关键类别 Recall≥ 0.90不允许导出
无「NaN 损失」记录硬性不允许导出
质检报告已归档硬性(版本带入)不允许导出

门禁不是万能的

门禁挡得住「明显不行」,挡不住「分布外翻车」——val 集里没有的工况(新角度、新光照、新批次)指标再好也可能掉点。达标之后仍要小批量试产验证,那超出了本文档范围,但别跳过。

指标异常的归因速查 ​

现象优先怀疑验证方法
val 高、现场低划分泄漏(同序列跨集合)2.4 改按序列划分重训
某类 AP ≈ 0该类样本太少或类别名不一致按类别统计 + 类别映射
P 高 R 低置信度阈值过高/漏标多跑检查视图看漏标
P 低 R 高阈值过低/负样本少补负样本、调阈值
mAP 高但小目标漏检imgsz 太小提 imgsz 重训

常见问题 ​

现象处理
评估卡住不动大验证集耗时按帧数增长,等或缩小评估范围
指标比上一版低对比两版的版本 diff 与训练名参数,别只看数字
导不出但想先给测试联系管理员临时豁免门禁,记录豁免原因,不要私自改门禁阈值

下一步 → 3.4 导出模型