1. 关于 FLOPs
FLOPs（Floating Point Operations Per Second）指的是每秒执行的浮点数运算次数。
具体地说：
- 一次浮点加法：如 a + b，被计为一次浮点运算。
- 一次浮点乘法：如 a * b，也被计为一次浮点运算。
- 其他基本浮点运算：如除法和平方根，也可以被计为一次浮点运算。
2. 单、双精度
根据 ANSI/IEEE Std. 754-1985. 定义的格式，如果用于 32 位数字则称为单精度，用于 64 位数字的称为双精度。
32 位（单精度）格式
| 符号位 | 指数部分 | 尾数部分 |
|---|---|---|
| 1 位 | 8 位 | 23 位 |
64 位（双精度）格式
| 符号位 | 指数部分 | 尾数部分 |
|---|---|---|
| 1 位 | 11 位 | 52 位 |
3. 常用单位
| 单位 | 定义 |
|---|---|
| MFLOPS | 每秒一百万（(10^6)）次浮点运算 |
| GFLOPS | 每秒十亿（(10^9)）次浮点运算 |
| TFLOPS | 每秒一万亿（(10^{12})）次浮点运算 |
| PFLOPS | 每秒一千万亿（(10^{15})）次浮点运算 |
| EFLOPS | 每秒一百亿亿（(10^{18})）次浮点运算 |
4. 常见设备与算力
| 设备型号 | 单精度算力(FP32) |
|---|---|
| GeForce RTX 4090 | 82.58 TFLOPS |
| NVIDIA H100 | 51.22 TFLOPS |
| NVIDIA H20 | 44 TFLOPS |
| NVIDIA A100 | 19.5 TFLOPS |
| NVIDIA A800 | 19.5 TFLOPS |
| Tesla V100 | 15.7 TFLOPS |
这意味着，GeForce RTX 4090 每秒钟可以进行 82.58 万亿次单精度浮点运算。