Heedless Backbones

DeiT III Family

Paper | GitHub

axis

Select an option

Results

Parameters (M)

Images / Second

Publication Date

task

Select an option

---------

Object Detection

Instance Segmentation

Classification

Semantic Segmentation

Panoptic Segmentation

dataset

Select an option

---------

ImageNet-1k

ImageNet-A

ImageNet-R

ImageNet-Sketch

ImageNet-C

ImageNet-C-bar

ImageNet-V2

ImageNet-ReaL

metric

Select an option

----------

Top-1

Top-5

GFLOPs

resolution

Select an option

----------

224x224

384x384

512x512

axis

Select an option

Results

Parameters (M)

Images / Second

GFLOPs

Publication Date

Filters

pretrain dataset

Select an option

---------

JFT-3B

ImageNet-1k

ImageNet-22k

JFT-300M

pretrain method

Select an option

----------

Supervised

FCMAE

MAE

CL

Legend

Legend attribute

Select an option

Family

Pretrain Dataset

Pretrain Method

Classification Resolution

Legend attribute (second)

Select an option

----------

Pretrain Dataset

Pretrain Method

Classification Resolution

model	params (m)	pretrain	finetune	GFLOPs	Top-1
ViT-S (DeiT III)	22.0	IN-1k : Sup. : 800	IN-1k : 20 : 224	4.6	81.4
ViT-S (DeiT III)	22.0	IN-1k : Sup. : 800	IN-1k : 20 : 384	15.5	83.4
ViT-S (DeiT III)	22.0	IN-22k : Sup. : 90	IN-1k : 50 : 224	4.6	83.1
ViT-B (DeiT III)	86.6	IN-1k : Sup. : 800	IN-1k : 20 : 224	17.5	83.8
ViT-B (DeiT III)	86.6	IN-1k : Sup. : 800	IN-1k : 20 : 384	55.5	85.0
ViT-B (DeiT III)	86.6	IN-22k : Sup. : 90	IN-1k : 50 : 224	17.6	85.7
ViT-B (DeiT III)	86.6	IN-22k : Sup. : 90	IN-1k : 50 : 384	55.5	86.7
ViT-L (DeiT III)	304.4	IN-1k : Sup. : 800	IN-1k : 20 : 224	61.6	84.9
ViT-L (DeiT III)	304.4	IN-1k : Sup. : 800	IN-1k : 20 : 384	191.2	85.8
ViT-L (DeiT III)	304.4	IN-22k : Sup. : 90	IN-1k : 50 : 224	61.6	87.0
ViT-L (DeiT III)	304.4	IN-22k : Sup. : 90	IN-1k : 50 : 384	191.2	87.7
ViT-H (DeiT III)	632.1	IN-1k : Sup. : 800	IN-1k : 20 : 224	167.4	85.2
ViT-H (DeiT III)	632.1	IN-22k : Sup. : 90	IN-1k : 50 : 224	167.4	87.2

model	params (m)	pretrain	finetune	gflops	IN-1k	IN-V2
ViT-S (DeiT III)	22.0	IN-1k : Sup. : 800	IN-1k : 20 : 224	4.6	81.4/—	70.5/—
ViT-S (DeiT III)	22.0	IN-1k : Sup. : 800	IN-1k : 20 : 384	15.5	83.4/—	73.1/—
ViT-S (DeiT III)	22.0	IN-22k : Sup. : 90	IN-1k : 50 : 224	4.6	83.1/—	73.8/—
ViT-B (DeiT III)	86.6	IN-1k : Sup. : 800	IN-1k : 20 : 224	17.5	83.8/—	73.6/—
ViT-B (DeiT III)	86.6	IN-1k : Sup. : 800	IN-1k : 20 : 384	55.5	85.0/—	74.8/—
ViT-B (DeiT III)	86.6	IN-22k : Sup. : 90	IN-1k : 50 : 224	17.6	85.7/—	76.5/—
ViT-B (DeiT III)	86.6	IN-22k : Sup. : 90	IN-1k : 50 : 384	55.5	86.7/—	77.9/—
ViT-L (DeiT III)	304.4	IN-1k : Sup. : 800	IN-1k : 20 : 224	61.6	84.9/—	75.1/—
ViT-L (DeiT III)	304.4	IN-1k : Sup. : 800	IN-1k : 20 : 384	191.2	85.8/—	76.6/—
ViT-L (DeiT III)	304.4	IN-22k : Sup. : 90	IN-1k : 50 : 224	61.6	87.0/—	78.6/—
ViT-L (DeiT III)	304.4	IN-22k : Sup. : 90	IN-1k : 50 : 384	191.2	87.7/—	79.1/—
ViT-H (DeiT III)	632.1	IN-1k : Sup. : 800	IN-1k : 20 : 224	167.4	85.2/—	75.9/—
ViT-H (DeiT III)	632.1	IN-22k : Sup. : 90	IN-1k : 50 : 224	167.4	87.2/—	79.2/—

ADE20K (val)

model	pretrain	head	train	gflops	mIoU^ms	pAcc^ms	mAcc^ms	mIoU^ss	pAcc^ss	mAcc^ss
ViT-S (DeiT III)	IN-1k : Sup. : 800	UPerNet	ADE20K (train) : 128 : 512	588.0	46.8	—	—	45.6	—	—
ViT-B (DeiT III)	IN-1k : Sup. : 800	UPerNet	ADE20K (train) : 128 : 512	1283.0	50.2	—	—	49.3	—	—
ViT-B (DeiT III)	IN-22k : Sup. : 90	UPerNet	ADE20K (train) : 128 : 512	1283.0	52.8	—	—	51.8	—	—
ViT-L (DeiT III)	IN-1k : Sup. : 800	UPerNet	ADE20K (train) : 128 : 512	2231.0	52.0	—	—	51.5	—	—
ViT-L (DeiT III)	IN-22k : Sup. : 90	UPerNet	ADE20K (train) : 128 : 512	2231.0	54.7	—	—	53.8	—	—