Heedless Backbones

SR-ViT Family

Select an option
Results
Parameters (M)
Images / Second
Publication Date
Select an option
---------
Object Detection
Instance Segmentation
Classification
Semantic Segmentation
Panoptic Segmentation
Select an option
---------
ImageNet-1k
ImageNet-A
ImageNet-R
ImageNet-Sketch
ImageNet-C
ImageNet-C-bar
ImageNet-V2
ImageNet-ReaL
PASCAL VOC 2007 (val)
PASCAL VOC 2007 (test)
Select an option
----------
Top-1
Top-5
GFLOPs
Select an option
----------
224x224
384x384
512x512
Select an option
Results
Parameters (M)
Images / Second
GFLOPs
Publication Date
Select an option
---------
ImageNet-1k
ImageNet-22k
JFT-300M
JFT-3B
MegData73M
WT++London
WT++
Select an option
----------
Supervised
Sup. + TL
FCMAE
MAE
CL
MAP
Self-Distillation
Select an option
Family
Pretrain Dataset
Classification Resolution
Select an option
----------
Family
Pretrain Method
Classification Resolution
modelparams (m)pretrainfinetuneGFLOPsTop-1
SR-ViT-T (T=2)15.4IN-1k : Sup. : 300— : — : —5.479.89
SR-ViT-T (T=2)15.4IN-1k : Sup. : 300IN-1k : 30 : 38418.382.21
SR-ViT-T (T=3)15.8IN-1k : Sup. : 300— : — : —7.880.93
SR-ViT-T (T=3)15.8IN-1k : Sup. : 300IN-1k : 30 : 38426.283.22
SR-ViT-S (T=2)22.7IN-1k : Sup. : 300— : — : —8.582.02
SR-ViT-S (T=2)22.7IN-1k : Sup. : 300IN-1k : 30 : 38428.684.07
SR-ViT-S (T=3)23.2IN-1k : Sup. : 300— : — : —12.482.45
SR-ViT-S (T=3)23.2IN-1k : Sup. : 300IN-1k : 30 : 38441.784.19
SR-ViT-S (T=4)23.8IN-1k : Sup. : 300— : — : —16.382.48
SR-ViT-S (T=4)23.8IN-1k : Sup. : 300IN-1k : 30 : 38454.884.24
SR-ViT-B (T=2)39.9IN-1k : Sup. : 300— : — : —14.882.76
SR-ViT-B (T=2)39.9IN-1k : Sup. : 300IN-1k : 30 : 38448.384.39
SR-ViT-B (T=3)41.0IN-1k : Sup. : 300— : — : —21.682.19
SR-ViT-B (T=3)41.0IN-1k : Sup. : 300IN-1k : 30 : 38470.483.53
SR-ViT-T (T=2)15.4IN-1k : Sup. : 300— : — : —5.481.03
SR-ViT-T (T=2)15.4IN-1k : Sup. : 300IN-1k : 30 : 38418.383.12
SR-ViT-T (T=3)15.8IN-1k : Sup. : 300— : — : —7.881.89
SR-ViT-T (T=3)15.8IN-1k : Sup. : 300IN-1k : 30 : 38426.283.73
SR-ViT-S (T=2)22.7IN-1k : Sup. : 300— : — : —8.582.67
SR-ViT-S (T=2)22.7IN-1k : Sup. : 300IN-1k : 30 : 38428.684.27
SR-ViT-S (T=3)23.2IN-1k : Sup. : 300— : — : —12.483.36
SR-ViT-S (T=3)23.2IN-1k : Sup. : 300IN-1k : 30 : 38441.784.87
SR-ViT-S (T=4)23.8IN-1k : Sup. : 300— : — : —16.383.57
SR-ViT-S (T=4)23.8IN-1k : Sup. : 300IN-1k : 30 : 38454.885.08
SR-ViT-B (T=2)39.9IN-1k : Sup. : 300— : — : —14.883.75
SR-ViT-B (T=2)39.9IN-1k : Sup. : 300IN-1k : 30 : 38448.385.07
SR-ViT-B (T=3)41.0IN-1k : Sup. : 300— : — : —21.684.02
SR-ViT-B (T=3)41.0IN-1k : Sup. : 300IN-1k : 30 : 38470.485.25
modelparams (m)pretrainfinetunegflopsIN-1k
SR-ViT-T (T=2)15.4IN-1k : Sup. : 300— : — : —5.479.89/—
SR-ViT-T (T=2)15.4IN-1k : Sup. : 300IN-1k : 30 : 38418.382.21/—
SR-ViT-T (T=3)15.8IN-1k : Sup. : 300— : — : —7.880.93/—
SR-ViT-T (T=3)15.8IN-1k : Sup. : 300IN-1k : 30 : 38426.283.22/—
SR-ViT-S (T=2)22.7IN-1k : Sup. : 300— : — : —8.582.02/—
SR-ViT-S (T=2)22.7IN-1k : Sup. : 300IN-1k : 30 : 38428.684.07/—
SR-ViT-S (T=3)23.2IN-1k : Sup. : 300— : — : —12.482.45/—
SR-ViT-S (T=3)23.2IN-1k : Sup. : 300IN-1k : 30 : 38441.784.19/—
SR-ViT-S (T=4)23.8IN-1k : Sup. : 300— : — : —16.382.48/—
SR-ViT-S (T=4)23.8IN-1k : Sup. : 300IN-1k : 30 : 38454.884.24/—
SR-ViT-B (T=2)39.9IN-1k : Sup. : 300— : — : —14.882.76/—
SR-ViT-B (T=2)39.9IN-1k : Sup. : 300IN-1k : 30 : 38448.384.39/—
SR-ViT-B (T=3)41.0IN-1k : Sup. : 300— : — : —21.682.19/—
SR-ViT-B (T=3)41.0IN-1k : Sup. : 300IN-1k : 30 : 38470.483.53/—
SR-ViT-T (T=2)15.4IN-1k : Sup. : 300— : — : —5.481.03/—
SR-ViT-T (T=2)15.4IN-1k : Sup. : 300IN-1k : 30 : 38418.383.12/—
SR-ViT-T (T=3)15.8IN-1k : Sup. : 300— : — : —7.881.89/—
SR-ViT-T (T=3)15.8IN-1k : Sup. : 300IN-1k : 30 : 38426.283.73/—
SR-ViT-S (T=2)22.7IN-1k : Sup. : 300— : — : —8.582.67/—
SR-ViT-S (T=2)22.7IN-1k : Sup. : 300IN-1k : 30 : 38428.684.27/—
SR-ViT-S (T=3)23.2IN-1k : Sup. : 300— : — : —12.483.36/—
SR-ViT-S (T=3)23.2IN-1k : Sup. : 300IN-1k : 30 : 38441.784.87/—
SR-ViT-S (T=4)23.8IN-1k : Sup. : 300— : — : —16.383.57/—
SR-ViT-S (T=4)23.8IN-1k : Sup. : 300IN-1k : 30 : 38454.885.08/—
SR-ViT-B (T=2)39.9IN-1k : Sup. : 300— : — : —14.883.75/—
SR-ViT-B (T=2)39.9IN-1k : Sup. : 300IN-1k : 30 : 38448.385.07/—
SR-ViT-B (T=3)41.0IN-1k : Sup. : 300— : — : —21.684.02/—
SR-ViT-B (T=3)41.0IN-1k : Sup. : 300IN-1k : 30 : 38470.485.25/—

COCO (val)

modelpretrainheadtraingflopsmAPbAPb50APb75mAPbsmAPbmmAPbl
SR-ViT-S (T=2)IN-1k : Sup. : 300Mask R-CNNCOCO (train) : 36453.644.6366.7548.04———
SR-ViT-S (T=3)IN-1k : Sup. : 300Mask R-CNNCOCO (train) : 36528.845.5467.6849.45———
SR-ViT-S (T=4)IN-1k : Sup. : 300Mask R-CNNCOCO (train) : 36603.946.2568.2950.68———
SR-ViT-B (T=2)IN-1k : Sup. : 300Mask R-CNNCOCO (train) : 36583.945.8767.9449.77———
SR-ViT-B (T=3)IN-1k : Sup. : 300Mask R-CNNCOCO (train) : 36717.447.1569.3851.65———

COCO (val)

modelpretrainheadtraingflopsmAPmAPm50APm75mAPmsmAPmmmAPml
SR-ViT-S (T=2)IN-1k : Sup. : 300Mask R-CNNCOCO (train) : 36453.640.0563.2142.63———
SR-ViT-S (T=3)IN-1k : Sup. : 300Mask R-CNNCOCO (train) : 36528.840.7864.2943.72———
SR-ViT-S (T=4)IN-1k : Sup. : 300Mask R-CNNCOCO (train) : 36603.941.3264.9444.3———
SR-ViT-B (T=2)IN-1k : Sup. : 300Mask R-CNNCOCO (train) : 36583.941.1264.5543.92———
SR-ViT-B (T=3)IN-1k : Sup. : 300Mask R-CNNCOCO (train) : 36717.442.1765.9845.36———

ADE20K (val)

modelpretrainheadtraingflopsmIoUmspAccmsmAccmsmIoUsspAccssmAccss
SR-ViT-S (T=2)IN-1k : Sup. : 300UPerNetADE20K (train) : 128 : 512285.946.95——45.81——
SR-ViT-S (T=3)IN-1k : Sup. : 300UPerNetADE20K (train) : 128 : 512339.648.79——47.44——
SR-ViT-S (T=4)IN-1k : Sup. : 300UPerNetADE20K (train) : 128 : 512393.249.05——47.96——
SR-ViT-B (T=2)IN-1k : Sup. : 300UPerNetADE20K (train) : 128 : 512408.448.8——47.31——
SR-ViT-B (T=3)IN-1k : Sup. : 300UPerNetADE20K (train) : 128 : 512496.648.35——47.16——