Appearance
3.2 训练监控与日志
训练启动后,中画布切换为监控页。这一页的价值不在「看它跑」,而在「早判断」——曲线形态能在 epoch 20 告诉你最终结果的大致范围。
监控页四区
| 区域 | 内容 |
|---|---|
| 任务状态 | 排队中 / 训练中 / 已完成 / 已中止;进度条与剩余 epoch |
| 曲线区 | train loss、val loss、mAP 等指标曲线,可按指标开关 |
| 资源区 | GPU 利用率、显存占用、CPU/内存;持续 GPU 利用率 < 60% 说明瓶颈在数据加载 |
| 日志区 | 逐 epoch 输出、警告、错误 |
关键曲线怎么读
| 形态 | 含义 | 动作 |
|---|---|---|
| train loss 平稳下降,val loss 跟随 | 正常收敛 | 继续跑 |
| train loss 降,val loss 不降反升 | 过拟合 | 加强增强/降 epoch/早停已触发则取早停点 |
| 两者都不降 | 欠拟合或配置错误 | 学习率太小/模型容量不足/数据与类别不匹配 |
| loss 剧烈震荡 | 学习率过大或 batch 太小 | 降 lr 或升 batch |
| loss 为 NaN | 数值溢出/数据含异常值 | 检查输入数据(空白图、损坏标注),降 lr |
| mAP 平台期 > 30 epoch | 当前配置的天花板 | 记下平台值,换规格/换数据再比 |
早停的意义
早停 patience 到点后自动停在 val 最优附近。「已完成」不是「跑满了 epoch」,而是「没有提升了」——这是特性不是故障。
日志
日志按 epoch 分块,每条含:loss 分量(box/cls/obj 等)、当前 lr、耗时。定位问题时按这个顺序看:
- 开头的配置回显:确认实际生效的参数(和你设的不一致时,这里是真相);
- 警告行:类别缺失、增强跳过、数据加载慢的告警都在这;
- 每个 epoch 尾行:趋势的原始数字;
- 异常堆栈:直接定位到代码层。
日志可导出(导出日志),提交工单或求助时附上完整日志,比截图高效得多。
中断与续训
| 场景 | 处理 |
|---|---|
| 主动中止 | 中止任务,已产出的 checkpoint 保留可用 |
| 崩溃/OOM 中止 | 按 5.3 排查清单 处理后,用最后一个 checkpoint 断点续训 |
| 换机器续训 | 拷贝任务输出目录,续训时指定该目录 |
| 续训不收敛 | 通常是数据或配置变了,不如重开 |
多任务与资源
- 同一时刻建议只跑一个训练任务:多个任务抢同一块 GPU 会互相拖慢且曲线不可比。
- 需要对比实验时串行跑,训练名写清差异,结果才可比(见 3.1 的调参纪律)。
常见问题
| 现象 | 原因 | 处理 |
|---|---|---|
| GPU 利用率接近 0 | 数据加载瓶颈 | 加 workers;图像放 SSD;减小 imgsz |
| 显存慢慢涨满 | 碎片/累积图 | 重启任务,续训 |
| 曲线不动、任务却「训练中」 | 数据为空或划分错误 | 看日志配置回显与版本统计 |
| 监控页卡顿 | 曲线数据点过多 | 关掉不必要的指标曲线 |
下一步 → 3.3 评估门禁与指标