深度学习领域中的FLOPS是什么?

问题描述 投票:0回答:1

深度学习领域中的FLOPS是什么?为什么我们不只使用术语FLO?

我们使用术语FLOPS来衡量冻结的深度学习网络的运行数量。

以下Wikipedia,FLOPS =每秒浮点操作。在测试计算单元时,应该考虑时间。但是在测量深度学习网络的情况下,我如何理解时间概念?我们不应该只使用FLO(浮点运算)一词吗?

为什么人们使用术语FLOPS?如果有什么我不知道的东西,那是什么?

performance deep-learning flops
1个回答
0
投票

深度学习领域中的FLOPS是什么?为什么我们不只使用术语FLO?

[FLOPS(每秒浮点运算)在大多数字段中都是相同的-硬件(如果您非常幸运)可以达到的(理论上)浮点运算的最大数量。

我们不使用FLO,因为FLO始终是无限的(给定无数的时间,硬件能够执行无数的浮点运算)。>>

注意,一个“浮点运算”是一个乘法,一个除法,一个加法...。通常(对于现代CPU)FLOPS是通过重复使用“融合的乘法然后加法”指令来计算的,因此一个指令计数作为2个浮点运算。与SIMD结合使用时,一条指令(并行执行8个“乘法和加法”)可能算作16个浮点指令。当然,这是一个计算出的理论值,因此您可以忽略诸如内存访问,分支,IRQ等之类的内容。这就是为什么在实践中几乎永远无法实现“理论FLOP”的原因。

为什么人们使用术语FLOPS?如果有什么我不知道的东西,那是什么?

[主要用于描述用于营销目的的硬件功能(例如,“我们的新CPU能够支持5 GFLOPS!”)。]

热门问题
推荐问题
最新问题