模型运算量、显卡算力说明

关于深度学习的算力、计算量存在很多单位，本文记录相关内容。

指计算设备（GPU、CPU、NPU等）完成计算的能力大小，一般评价指标为在单位时间内完成的运算次数

指模型推断过程中需要的运算量，一般用来评价模型规模以及推断运行时间

单位类型	英文缩写	英文	含义
芯片速度类	OPS	operations per second	每秒处理次数（S大写，表示 second），通俗是对INT8类型的操作次数，整型默认省略。
芯片速度类	FLOPS	Floating point number operations per second	每秒处理浮点数次数（S大写，表示 second），通常是FP32，浮点着重强调。
芯片速度类	TOPS	Tera operations per second	每秒处理的万亿次数 $10^{12}$（S大写，表示 second）
芯片速度类	TFLOPS	Tera Floating point number operations per second	每秒处理浮点数的万亿次数 $10^{12}$（S大写，表示 second）
芯片速度类	FLOPs	Floating point number operations	模型推理需要处理浮点操作的次数（S小写，表示复数）
模型体量类	TFLOPs	Tera Floating point number operations	模型推理需要处理浮点操作的万亿次数 $10^{12}$（S小写，表示复数）

1、最大的混淆点，上述三个名词是两种东西，注意“S/s”的大小写。TOPS和FLOPS指的是每秒的计算量，算是速度方面的，用在芯片算力性能上。FLOPs指的是深度学习模型自身的计算量，算是体量方面的，用在深度学习模型本身参数计算量上。

2、针对算力速度方面的TOPS和FLOPS，其中OPS指的是每秒处理次数，但通常是默认对INT8整型数的处理次数（INT8省略不写），加上FL后FLOPS指的是对FP32浮点数的处理次数。

3、仍然是针对算力速度方面的TOPS和FLOPS，这里的T指的是量级（Tera ，万亿，10^12），同理TFLOPS专门指每秒对浮点数处理的达到多少万亿次数。

网络	运算量
AlexNet	对于AlexNet处理224*224的图像，需要1.4G FLOPS
ResNet-152	对于224*224的图像，ResNet-152需要22.6G FLOPS

单位	描述
1 MOPS = 10^6 FLOPS	一个MFLOPS（megaFLOPS）等于每秒一百万（=10^6）次的浮点运算，
1 GOPS = 10^9 FLOPS	一个GFLOPS（gigaFLOPS）等于每秒十亿（=10^9）次的浮点运算，十亿（部分地方可能会用B，billion，十亿）
1 TOPS = 10^12 FLOPS	一个TFLOPS（teraFLOPS）等于每秒一万亿（=10^12）次的浮点运算，(1太拉)
1 PFLOPS = 10^15 FLOPS	一个PFLOPS（petaFLOPS）等于每秒一千万亿 (=10^15) 次的浮点运算
1 EFLOPS = 10^18 FLOPS	每秒一百京（=10^18）次的浮点运算。
1 ZFLOPS = 10^21 FLOPS	等于每秒十万京（=10^21）次的浮点运算。

10^15	拍它	P	peta
10^12	太拉（万亿）	T	tera	trillion 万亿
10^9	吉咖（十亿）	G	giga	billion 十亿
10^6	兆（百万）	M	mega	million 百万
10^3	千	k	kilo

文章链接：
https://cloud.tencent.com/developer/article/2393847

0 人点赞