浮点数（Floating-Point Numbers）是计算机中表示实数的一种方式，通过科学计数法（±尾数 × 基数^指数）平衡精度和数值范围。不同精度的浮点数通过位数分配（符号位、指数位、尾数位）区分，适用于不同场景（如科学计算、图形渲染、AI训练等）。以下是常见的浮点数精度类型及特性：
一、基础概念：浮点数格式
所有浮点数遵循 IEEE 754 标准，由三部分组成：
- 符号位（S）：1位，表示正负（0为正，1为负）。
- 指数位（E）：决定数值范围（位数越多，范围越大）。
- 尾数位（M）：决定精度（位数越多，精度越高）。
基数默认为2（二进制），因此实际值计算公式为：
值 = (-1)^S × (1.M) × 2^(E-偏移量)
（注：“偏移量”用于处理正负指数，不同精度的偏移量不同）。
二、常见浮点数精度类型
1. 半精度浮点数（FP16 / Half Precision）
- 位数：16位（1符号 + 5指数 + 10尾数）。
- 数值范围：±6.10×10⁻⁵ 至 ±6.55×10⁴。
- 精度：约3-4位十进制有效数字（尾数位10位，二进制精度）。
- 特点：
- 存储效率高（仅占FP32的1/2），计算速度快。
- 指数位短（5位），易出现上溢（大数值无法表示）。
- 应用场景：
- 图形渲染（如GPU纹理、颜色值）。
- 移动端AI推理（如手机端模型部署）。
- 实时视频处理（对精度要求不高的场景）。
2. 脑浮点数（BF16 / BFloat16）
- 位数：16位（1符号 + 8指数 + 7尾数）。
- 数值范围：±1.18×10⁻³⁸ 至 ±3.40×10³⁸（与FP32相同）。
- 精度：约2-3位十进制有效数字（尾数位7位）。
- 特点：
- 指数位与FP32一致（8位），数值范围极大，避免上溢。
- 尾数位短（7位），精度低于FP16，但适合训练中的误差容忍。
- 设计背景：专为深度学习训练设计（由英特尔、Google等推动）。
- 应用场景：
- 大模型训练（如GPT、ResNet），兼容混合精度（FP32+BF16）。
- 数据中心级AI计算（如TPU、NVIDIA A100支持）。
3. 单精度浮点数（FP32 / Single Precision）
- 位数：32位（1符号 + 8指数 + 23尾数）。
- 数值范围：±1.18×10⁻³⁸ 至 ±3.40×10³⁸。
- 精度：约6-7位十进制有效数字（23位尾数 + 隐含的1位，共24位）。
- 特点：
- 平衡精度和存储，是最常用的通用浮点数格式。
- 无特殊优化时，默认作为科学计算、编程中的“float”类型。
- 应用场景：
- 科学计算（如物理模拟、数值分析）。
- 普通编程中的浮点数运算（如游戏逻辑、数据处理）。
- 深度学习推理（对精度要求较高的场景）。
4. 双精度浮点数（FP64 / Double Precision）
- 位数：64位（1符号 + 11指数 + 52尾数）。
- 数值范围：±2.23×10⁻³⁰⁸ 至 ±1.79×10³⁰⁸。
- 精度：约15-17位十进制有效数字（52位尾数 + 隐含1位）。
- 特点：
- 精度极高，数值范围极大，但存储和计算成本高（是FP32的2倍）。
- 应用场景：
- 高精度科学计算（如气象模拟、量子力学、金融建模）。
- 工程仿真（如航空航天、流体力学）。
- 数值精度敏感的场景（如长期迭代计算，避免误差累积）。
5. 扩展精度浮点数（FP80 / Extended Precision）
- 位数：80位（1符号 + 15指数 + 64尾数，部分平台为64位）。
- 数值范围：±3.36×10⁻⁴⁹³² 至 ±1.18×10⁴⁹³²。
- 精度：约19-20位十进制有效数字。
- 特点：
- 非IEEE 754标准，但被x86架构广泛支持（如Intel/AMD处理器）。
- 主要用于中间计算，减少精度损失（如编译器优化、数学库）。
- 应用场景：
- 高性能计算中的中间结果存储。
- 高精度数学库（如三角函数、对数计算）。
6. 四精度浮点数（FP128 / Quadruple Precision）
- 位数：128位（1符号 + 15指数 + 112尾数）。
- 数值范围：±6.48×10⁻⁴⁹⁶⁶ 至 ±1.19×10⁴⁹³²。
- 精度：约33-36位十进制有效数字。
- 特点：
- 精度和范围远超FP64，适合极端高精度需求。
- 计算成本高，仅部分高端硬件支持（如IBM POWER、ARMv8.2+）。
- 应用场景：
- 天体物理、粒子物理等超高精度模拟。
- 密码学、数值算法验证。
7. 低精度浮点数（FP8 / Float8）
- 位数：8位（常见分配：1符号 + 4指数 + 3尾数，或1+5+2）。
- 数值范围：因格式而异（如±1.17×10⁻³ 至 ±4.48×10³）。
- 精度：约1-2位十进制有效数字。
- 特点：
- 新兴格式，专为AI推理优化（存储成本仅为FP16的1/2）。
- 分为E4M3（侧重范围）和E5M2（侧重精度）两种子类型。
- 应用场景：
- 边缘端AI推理（如物联网设备、嵌入式系统）。
- 高并发低延迟场景（如实时推荐系统）。
三、精度类型对比表
| 类型 | 位数 | 符号位 | 指数位 | 尾数位 | 十进制精度 | 典型应用场景 |
|---|---|---|---|---|---|---|
| FP8 | 8 | 1 | 4/5 | 3/2 | 1-2位 | 边缘AI推理 |
| FP16 | 16 | 1 | 5 | 10 | 3-4位 | 移动端推理、图形渲染 |
| BF16 | 16 | 1 | 8 | 7 | 2-3位 | 深度学习训练 |
| FP32 | 32 | 1 | 8 | 23 | 6-7位 | 通用计算、普通推理 |
| FP64 | 64 | 1 | 11 | 52 | 15-17位 | 科学计算、工程仿真 |
| FP80 | 80 | 1 | 15 | 64 | 19-20位 | x86架构中间计算 |
| FP128 | 128 | 1 | 15 | 112 | 33-36位 | 超高精度科学计算 |
四、选择原则
- 精度需求：高精度场景（如科学计算）选FP64/FP128，普通场景选FP32。
- 性能与成本：资源受限场景（如移动端）选FP16/FP8，平衡精度和效率。
- 硬件支持：AI训练优先BF16（如TPU/GPU支持），推理优先FP16/FP8。
- 兼容性：通用编程默认FP32，避免过度使用高精度导致性能浪费。
根据场景灵活选择精度类型，是优化计算效率的关键（例如：深度学习训练用BF16+FP32混合精度，既保证范围又减少成本）。