更高的浮点精度和机器学习

问题描述 投票:-1回答:1

我通过许多研究论文发现,机器学习算法(尤其是CNN / DNN)实际上是非常容错的应用程序,即,它们可以承受严重的数值错误,以至于可以达到非常令人满意的结果质量和准确性。通过使用8位甚至偶数字节的整数计算运算符可以获得。例如,一些研究论文证明,使用4位Integer MAC单元可以获得良好的结果,从而使浮点单元对于此类应用完全无效。

我的问题是关于浮点的,您认为这在哪方面是强制性的?它在任何机器学习/人工智能子域中都找不到位置吗?还是真的只有通用科学计算游戏?是否有指向某些确实需要并依赖它的有用应用程序/基准/平台的指针?

machine-learning floating-point computer-vision precision scientific-computing
1个回答
0
投票

这是在浮点/整数和位数之间做出的设计决定。做出此决定的一个好方法是对模型进行训练后量化,然后查看如何改变模型的准确性和性能改进。如果在可接受的精度下降水平内有足够的性能改进,则可以将量化作为模型的后期处理步骤添加到模型生成过程中。

© www.soinside.com 2019 - 2024. All rights reserved.