与浮点数有关的并行还原数值稳定性问题

Question

我一直在寻找一些与浮点求和及相关精度问题有关的在线资源。例如。：https://devtalk.nvidia.com/default/topic/1044661/cuda-programming-and-performance/how-to-improve-float-array-summation-precision-and-stability-/

https://hal.archives-ouvertes.fr/hal-00949355v4/document

他们中的大多数建议在处理任何现代硬件的浮点求和时使用某种形式的手动干预。例如。（1）使用Kahan的算法进行浮点求和，或（2）将更接近的数量级进行排序和求和，依此类推。这些细微差别是否由MPI_AllReduce或OpenMP还原内核处理？

Answer 1

仅针对OpenMP：标准没有说明应用缩减操作的顺序，实际上，每次执行代码时甚至可能有所不同。 （某些OpenMP运行时，例如LLVM / Intel实现了确定性减少*，但仅保证在具有相同线程数的运行之间具有确定性）。

如果要排序或以其他方式执行归约，则需要自己实现......>

• 请参见https://software.intel.com/en-us/cpp-compiler-developer-guide-and-reference-supported-environment-variables，并搜索KMP_DETERMINISTIC_REDUCTION以获取详细信息。