| 固定项 | 规定 | 为什么必须固定 |
|---|---|---|
| split | 沿用数据集官方划分,文件名列表在 split.json 中给出哈希 | 随机重切会让测试图混进训练,指标虚高且不可比 |
| 预处理 | 只允许缩放与归一化;缩放方式必须写明插值算法 | 裁切、增强、拼图都会改变输入分布 |
| 指标 | 按任务指定,不接受自定义加权 | 「综合得分」是最容易做手脚的地方 |
| 硬件档 | 推理延迟与吞吐在 T4 16GB 上测,batch=1,FP16 | 不固定硬件,速度数字没有意义 |
| 可复现 | 提交需附推理脚本与镜像摘要,第三方能跑出同一份结果 | 跑不出来的分数不进榜 |
| # | 任务 | 数据集 | 主指标 | 次指标 | 榜单 |
|---|---|---|---|---|---|
| {{ String(i + 1).padStart(2, '0') }} | {{ t.n }} | {{ t.d }} | {{ t.m }} | {{ t.s }} | {{ t.c === 0 ? '待首个提交' : t.c + ' 条' }} |
| 排名 | 方法 / 团队 | 指标 | 延迟 T4 FP16 | 提交日期 | 复现状态 |
|---|---|---|---|---|---|
| 暂无提交。第一个通过复现校验的结果会出现在这里。 | |||||
- 为什么不放论文成绩
- 同一篇论文在不同仓库实现下能差 3–8 个点,split 和阈值策略往往没写清楚。我们不放不能复核的数字。
- 我们自己为什么也没提交
- 引擎的指标是在客户产线数据上按客户口径算的,不能代表这些公开集。硬报一个数,对其他参与者不公平。
- 榜单多久更新
- 提交通过自动复现校验后 72 小时内更新。校验脚本开源,你可以先在本地跑一遍再提交。
- {{ s.t }}
{{ s.d }}
结果文件格式
# image_level.csv(图像级任务)
image_path,score
test/0001.jpg,0.93
test/0002.jpg,0.07
# detection.json(框任务)
[{"image":"test/0001.jpg",
"boxes":[[x1,y1,x2,y2]],
"scores":[0.91],
"labels":[2]}]
必附材料
- 推理脚本
- 从读取图像到输出上面这个文件的完整脚本,不许调用外部服务。
- 环境摘要
- 镜像 digest 或 requirements 锁文件,保证别人能装出同一套。
- 硬件实测
- T4、batch=1、FP16 下的单图延迟与吞吐,附测法。
- 预训练权重来源
- 用了 ImageNet 预训练要写明;用了我们的权重也要写明。