为什么 float 的 OpenCLatomic_add 实现会产生不确定的结果？

Question

我需要将

float

添加到 OpenCL 中多个线程中的同一全局内存地址。对于任何两次模拟运行，结果永远不会相同，对

atomic_add_f

函数的调用是此错误的根源。我使用的是 Nvidia Titan Xp GPU，驱动程序为 436.02。

由于 OpenCL 不支持

atomic_add

和

float

，因此有一些方法使用

atomic_cmpxchg

：

void atomic_add_f(volatile global float* addr, const float val) {
    union {
        uint  u32;
        float f32;
    } next, expected, current;
    current.f32 = *addr;
    do {
        next.f32 = (expected.f32=current.f32)+val; // ...*val for atomic_mul_f()
        current.u32 = atomic_cmpxchg((volatile global uint*)addr, expected.u32, next.u32);
    } while(current.u32!=expected.u32);
}

但是，此代码确实会产生不确定的结果。每次运行的结果都会略有不同，类似于出现竞争条件时。

我也尝试过这个版本

void atomic_add_f(volatile global float* addr, const float val) {
    private float old, sum;
    do {
        old = *addr;
        sum = old+val;
    } while(atomic_cmpxchg((volatile global int*)addr, as_int(old), as_int(sum))!=as_int(old));
}

这也不能正常工作。 here提供的版本也不起作用。

这是怎么回事以及如何解决？

Answer 1

由于浮点运算的工作方式，

(a + b) + c

和

a + (b + c)

不一定会产生完全相同的结果。中间结果总是被截断或四舍五入。由于内核的不同工作项不按确定性顺序运行，因此您的总和将不是确定性的。

维基百科提供了一些浮点计算示例，根据结合性，这些示例不会产生相同的结果。

可能的解决方案：

• 不要使用浮点累加器。
• 将结果写入数组，并使用主机上的串行求和或 GPU 或加速器上的确定性缩减算法在单独的步骤中对数组求和。

请注意，OpenCL 不强制要求任何特定的舍入行为，因此即使您将累加更改为确定性的，算法的其余部分很可能不会在不同的 OpenCL 实现中产生一致的结果。如果您绝对必须在所有情况下为相同的输入获得相同的结果，请不要使用浮点运算，而使用适当大小的整数。