首页/评测协议与榜单

Leaderboard

没有统一协议,
排行榜只是各说各话

同一个 MVTec AD,不同的 split、不同的预处理、不同的后处理,能差出十个百分点。这个榜单只接受按本协议跑出来的提交:split 固定、指标固定、硬件档固定。

协议 v1

五条固定项,一条都不许改

改任何一条,结果就不再与榜单上其他条目可比。要改,提一版新协议,别改旧结果。

固定项规定为什么必须固定
split沿用数据集官方划分,文件名列表在 split.json 中给出哈希随机重切会让测试图混进训练,指标虚高且不可比
预处理只允许缩放与归一化;缩放方式必须写明插值算法裁切、增强、拼图都会改变输入分布
指标按任务指定,不接受自定义加权「综合得分」是最容易做手脚的地方
硬件档推理延迟与吞吐在 T4 16GB 上测,batch=1,FP16不固定硬件,速度数字没有意义
可复现提交需附推理脚本与镜像摘要,第三方能跑出同一份结果跑不出来的分数不进榜

10 个任务

每个任务绑一个数据集和一个指标

任务粒度按「一个问题一种能力」切,不按数据集切——同一个数据集可以有图像级和像素级两个任务。

#任务数据集主指标次指标榜单
01图像级缺陷分类MVTec ADAUROCF1 @ 最佳阈值待首个提交
02像素级缺陷分割MVTec ADPRO像素 AUROC待首个提交
03跨品类泛化VisAAUROCAP待首个提交
04逻辑异常MVTec LOCO ADAUROCsPRO待首个提交
05钢带表面检测NEU-DETmAP@0.5mAP@0.5:0.95待首个提交
06冷轧板表面检测GC10-DETmAP@0.5各类 AP 最低值待首个提交
07PCB 缺陷检测DeepPCBmAP@0.5单图延迟待首个提交
08小目标像素级KolektorSDD2像素 APF1 @ 最佳阈值待首个提交
09织物疵点AITEX像素 F1图像级召回待首个提交
10焊缝缺陷WFDDmAP@0.5各类 AP 最低值待首个提交

当前榜单

空着的榜首

没有预填任何论文数字。论文的 split 与后处理各不相同,直接搬进来排,看起来热闹,实际不可比。

排名方法 / 团队指标延迟 T4 FP16提交日期复现状态
暂无提交。第一个通过复现校验的结果会出现在这里。
为什么不放论文成绩
同一篇论文在不同仓库实现下能差 3–8 个点,split 和阈值策略往往没写清楚。我们不放不能复核的数字。
我们自己为什么也没提交
引擎的指标是在客户产线数据上按客户口径算的,不能代表这些公开集。硬报一个数,对其他参与者不公平。
榜单多久更新
提交通过自动复现校验后 72 小时内更新。校验脚本开源,你可以先在本地跑一遍再提交。

提交

四步,做完就能进榜

不需要注册账号。把结果文件与复现材料发到评测邮箱,人工确认后再上线。

  1. 跑出结果文件

    按协议固定 split 与预处理,在你的机器上跑完测试集,得到 CSV 或 JSON。不要手工调阈值——阈值策略在协议里已固定。

  2. 跑复现校验

    用我们开源的 check.py 校验格式、字段与类别映射。格式错的文件会被直接退回,不进入人工审核。

  3. 发材料

    结果文件 + 推理脚本 + 环境摘要 + 硬件实测记录,一次性打包发到评测邮箱。缺一项就退回。

  4. 等复现

    我们在干净环境里重跑一遍。数字对得上(容差 0.1 个点)就上线;对不上,告诉你差在哪一步。

结果文件格式

# image_level.csv(图像级任务) image_path,score test/0001.jpg,0.93 test/0002.jpg,0.07 # detection.json(框任务) [{"image":"test/0001.jpg", "boxes":[[x1,y1,x2,y2]], "scores":[0.91], "labels":[2]}]

必附材料

推理脚本
从读取图像到输出上面这个文件的完整脚本,不许调用外部服务。
环境摘要
镜像 digest 或 requirements 锁文件,保证别人能装出同一套。
硬件实测
T4、batch=1、FP16 下的单图延迟与吞吐,附测法。
预训练权重来源
用了 ImageNet 预训练要写明;用了我们的权重也要写明。

协议真正的用处在你的产线上。

榜单解决「方法谁更强」,解决不了「这套东西在我这条线上能不能用」。后者只能用你的数据回答。