训练后量化如何工作?

问题描述 投票:0回答:0

我目前对模型量化很感兴趣,尤其是神经网络模型的训练后量化。

我只是想将使用 float32 权重的现有模型(即 TensorFlow 模型)转换为具有 float16 权重的量化模型。

简单地更改每个权重的每种数据类型(即 float32 -> float16)是行不通的,对吗?

那我该如何手动进行这种量化呢?

假设我的权重矩阵看起来像; [ 0.02894312 -1.8398855 -0.28658497 -1.1626594 -2.3152962 ]

然后简单地将矩阵中的每个权重转换为 float16 dtype 将生成以下矩阵; [ 0.02895 -1.84 -0.2866 -1.163 -2.314 ]

我认为这不会是现成库(例如 TF Lite)量化工作的方式......

那我怎样才能正确地手动执行这种类型的量化呢?

tensorflow-lite quantization tflite
© www.soinside.com 2019 - 2024. All rights reserved.