Skip to content

3.2 训练监控与日志 ​

训练启动后,中画布切换为监控页。这一页的价值不在「看它跑」,而在「早判断」——曲线形态能在 epoch 20 告诉你最终结果的大致范围。

监控页四区 ​

区域内容
任务状态排队中 / 训练中 / 已完成 / 已中止;进度条与剩余 epoch
曲线区train loss、val loss、mAP 等指标曲线,可按指标开关
资源区GPU 利用率、显存占用、CPU/内存;持续 GPU 利用率 < 60% 说明瓶颈在数据加载
日志区逐 epoch 输出、警告、错误

关键曲线怎么读 ​

形态含义动作
train loss 平稳下降,val loss 跟随正常收敛继续跑
train loss 降,val loss 不降反升过拟合加强增强/降 epoch/早停已触发则取早停点
两者都不降欠拟合或配置错误学习率太小/模型容量不足/数据与类别不匹配
loss 剧烈震荡学习率过大或 batch 太小降 lr 或升 batch
loss 为 NaN数值溢出/数据含异常值检查输入数据(空白图、损坏标注),降 lr
mAP 平台期 > 30 epoch当前配置的天花板记下平台值,换规格/换数据再比

早停的意义

早停 patience 到点后自动停在 val 最优附近。「已完成」不是「跑满了 epoch」,而是「没有提升了」——这是特性不是故障。

日志 ​

日志按 epoch 分块,每条含:loss 分量(box/cls/obj 等)、当前 lr、耗时。定位问题时按这个顺序看:

  1. 开头的配置回显:确认实际生效的参数(和你设的不一致时,这里是真相);
  2. 警告行:类别缺失、增强跳过、数据加载慢的告警都在这;
  3. 每个 epoch 尾行:趋势的原始数字;
  4. 异常堆栈:直接定位到代码层。

日志可导出(导出日志),提交工单或求助时附上完整日志,比截图高效得多。

中断与续训 ​

场景处理
主动中止中止任务,已产出的 checkpoint 保留可用
崩溃/OOM 中止按 5.3 排查清单 处理后,用最后一个 checkpoint 断点续训
换机器续训拷贝任务输出目录,续训时指定该目录
续训不收敛通常是数据或配置变了,不如重开

多任务与资源 ​

  • 同一时刻建议只跑一个训练任务:多个任务抢同一块 GPU 会互相拖慢且曲线不可比。
  • 需要对比实验时串行跑,训练名写清差异,结果才可比(见 3.1 的调参纪律)。

常见问题 ​

现象原因处理
GPU 利用率接近 0数据加载瓶颈加 workers;图像放 SSD;减小 imgsz
显存慢慢涨满碎片/累积图重启任务,续训
曲线不动、任务却「训练中」数据为空或划分错误看日志配置回显与版本统计
监控页卡顿曲线数据点过多关掉不必要的指标曲线

下一步 → 3.3 评估门禁与指标