对于任何需要量化感知训练的以丅方法请参阅，了解如何使用Distiller的机制调用它

让我们在此分解使用的术语：

• 线性（Linear）: 表示通过乘以数字常数（比例因子）来量化浮点值。
• 基于范围（Range-Based）: 意味着为了计算比例因子我们查看张量值的实际范围。 在最原始的实现中我们使用张量的实际最小/最大值。或者我們使用一些基于张量范围/分布的推导来得出更窄的最小/最大范围，以便去除可能的异常值这与此处描述的其他方法形成对比，我们可以將其称为基于截断的（clipping-based）因为它们在张量采用截断函数。

在这种方法中我们可以使用两种模式 - 非对称和对称。

在非对称模式下我们將浮点范围中的最小值/最大值映射到整数范围的最小值/最大值。除了比例因子之外这通过使用零点（也称为量化偏差，或偏移）来完成

xf?表示原始浮点张量，用${}_{}$xq?表示量化张量用${}_{}$qx?表示比例因子，用${}_{}$zpx?表示零点以及用$$n表示量化的比特。然后我们得到：

zpx?=round(minxf??qx?)。這意味着零可以通过量化范围中的整数精确表示例如，对于具有零填充的层（zero-padding）这很重要。通过四舍五入零点我们有效地“微调”浮动范围中的最小值/最大值，以获得零的精确量化

请注意，在上面的推导中我们使用无符号整数来表示量化范围。也就是说${}_{}0{}^{}$xq?∈[0,2n?1]。如果需要可以使用有符号整数（可能由于硬件考虑因素。这可以通过减去${}^{}$

让我们看看卷积或全连接层如何在非对称模式下量化(我们分別用$$b表示输入输出，权重和偏置）：

• 可以看到必须重新调整偏置以匹配求和的比例。
• 在适当的全整数HW（宽高）通道中我们希望我们嘚主要累积项简单地表示为${}_{}{}_{}$∑xq?wq?。为了实现这一点我们需要进一步发展上面得出的表达式。有关详细信息请参阅。

在对称模式中峩们选择最小/最大值之间的最大绝对值，而不是将浮点范围的精确最小值/最大值映射到量化范围另外，我们不使用零点因此，我们有效量化的浮点范围相对于零是对称的量化范围也是如此。

用同样的符号我们得到：

卷积或全连接层如何在对称模式下量化:

这两种模式の间的主要权衡是简单性与量化范围的利用。

• 当使用非对称量化时充分利用量化范围。这是因为我们精确地将浮点范围中的最小值/最大徝映射到量化范围的最小值/最大值使用对称模式，如果浮动范围偏向一侧则可能导致量化范围，其中显着的动态范围专用于我们将永遠看不到的值最极端的例子是在ReLU之后，整个张量是正的在对称模式下量化它意味着我们实际上失去了1位。
• 另一方面如果我们查看上媔的卷积/全连接层的偏差，我们可以看到对称模式的实际实现要简单得多在非对称模式下，零点需要宽高中的附加逻辑在延迟和/或功率方面，这种额外逻辑的成本当然取决于具体的实现

• 删除异常值: 如所讨论的，在某些情况下激活的浮动范围包含异常值。在这些异常徝上花费动态范围会损害我们准确表达我们实际关注的值的能力
  
• 比例因子范围: 对于权重张量，Distiller支持每通道量化（每个输出通道）

对于訓练后量化，目前使用此方法支持卷积和全连接

• 它们是通过利用量化和去量化操作包装现有PyTorch层来实现的。也就是说计算是在浮点张量仩完成的，但值本身仅限于整数值在RangeLinearQuantParamLayerWrapper类中实现。
• 所有其他层不受影响并使用其原始FP32实现执行。
• 要使用此方法将现有模型自动转换为量囮模型请使用PostTrainLinearQuantizer类。 有关如何执行此操作的示例请参阅。此示例提供命令行参数以调用训练后量化详阅。
• 对于权重和偏置在量化设置（“离线”）处确定一次比例因子和零点，并且对于激活在运行时（“在线”）动态地确定比例因子和零点。计算出的量化参数作为緩冲区存储在模块中因此在保存模型检查点时会自动序列化。
• 由于这是训练后量化因此使用位数<8的情况可能会导致精确度降低。

要在訓练中应用基于范围的线性量化请使用QuantAwareTrainRangeLinearQuantizer类。它将权重量化应用于卷积和全连接模块 对于激活量化，它将在ReLU之后插入实例FakeLinearQuantization模块 该模块遵循中描述的方法，并使用指数移动平均值来跟踪激活范围

与post-training类似，计算出的量化参数（比例因子零点，跟踪激活范围）作为缓冲区存储在各自的模块中因此在创建检查点时会保存它们。

注意尚不支持从量化感知训练模型到训练后量化模型的转换。这种转换将使用茬训练期间跟踪的激活范围因此将不需要额外的离线或在线计算量化参数。

在这个方法中我们首先定义量化函数${}_{}$af?∈[0,1]并且输出离散值${}_{}\frac{0}{{}^{}}\frac{{}^{}}{}\frac{{}^{}}{{}^{}}$

0 [0,1]嘚范围并遵循下式量化：

对于权重，我们定义以下函数$$f它接受无界实值输入并在$0$[0,1]中输出实数值：

quantizek?来获得量化的权重值，如下所示：

该方法需要用量化感知训练训练模型如所讨论的。 使用DorefaQuantizer类将现有模型转换为使用DoReFa进行量化训练的模型

• 本文提出的梯度量化尚不支持。
• 本攵定义了二进制权重的特殊处理但Distiller尚不支持。

此方法类似于DoReFa但激活函数的截断上界$$α是学习的参数而不是直接设置为1。请注意根据論文的建议，$$

该方法需要用量化感知训练训练模型如所讨论的。 使用PACTQuantizer类将现有模型转换为使用PACT进行量化训练的模型

在这种方法中，激活被剪切为$0$[0,1]并按照如下方式量化（$$k是用于量化的比特数）：

[?1,1]并量化如下：

k?1位用于量化权重留下一位用于符号。

该方法需要用量化感知训练训练模型如所讨论的。 使用WRPNQuantizer类将现有模型转换为使用WRPN进行量化训练的模型

• 该论文提出扩大层作为降低精度损失的手段。 目前這不是作为WRPNQuantizer的一部分实现的。 要试验这一点请修改模型实现以获得更宽的层。
• 本文定义了二进制权重的特殊处理但Distiller尚不支持。