虽然可以通过内在函数爬行,但我注意到无处可见水平的addub / subadd intruction。它可以在过时的3DNow中使用!然而,由于显而易见的原因,它的使用是不切实际的。这种“基本”操作没有在SSE3扩展中实现以及类似的水平和addsub操作的原因是什么?
顺便说一下,现代指令集(SSE3,SSE4,AVX,......)中最快的选择是什么? (每个值有2个双精度,即__m128d)
通常,您希望避免将代码设计为首先使用水平操作;尝试对多个数据并行执行相同的操作,而不是使用不同的元素进行不同的操作。但有时局部优化仍然是值得的,水平的东西可能比纯标量更好。
英特尔尝试在SSE3中添加水平操作,但从未添加专用硬件来支持它们。它们在支持它们的所有CPU(包括AMD)上解码为2次shuffle + 1次垂直操作。见Agner Fog's instruction tables。除了SSE4.1 dpps
/ dppd
(通常也不值得使用与手动改组)之外,最近的ISA扩展大多数不包括更多的水平操作。
SSSE3 pmaddubsw
是有道理的,因为元素宽度已经成为扩大乘法的一个问题,而且SSE4.1 phminposuw
立即得到了专用的硬件支持以使其值得使用(并且在没有它的情况下做同样的事情将花费大量的uops,并且它对视频特别有用)编码)。但AVX / AVX2 / AVX512水平操作非常稀缺。 AVX512确实引入了一些不错的改组,因此如果需要,您可以使用功能强大的双输入交叉混音来构建自己的水平操作。
如果对你的问题最有效的解决方案已经包括将两个输入以两种不同的方式混合在一起并将其输入到add或sub,那么肯定的是,haddpd
是一种有效的编码方式;特别是没有AVX,准备输入可能也需要movaps
指令,因为shufpd
是破坏性的(编译器在使用内在函数时静默发出,但仍然需要前端带宽,以及像Sandybridge和更早版本的CPU上的延迟,这些都没有消除reg-reg移动)。
但如果你打算两次使用相同的输入,haddpd
是错误的选择。另见Fastest way to do horizontal float vector sum on x86。 hadd
/ hsub
只有两个不同的输入才是个好主意,例如:作为动态转置的一部分,作为矩阵上其他一些操作的一部分。
无论如何,重点是,如果你想要它,建立你自己的haddsub_pd
,两个shuffle + SSE3 addsubpd
(它在支持它的CPU上有单uop硬件支持。)使用AVX,它将与假设的haddsubpd
一样快指令,没有AVX通常会花费一个额外的movaps
,因为编译器需要保留第一个shuffle的两个输入。 (代码大小会更大,但我说的是前端的uop成本和后端的执行端口压力。)
// Requires SSE3 (for addsubpd)
// inputs: a=[a1 a0] b=[b1 b0]
// output: [b1+b0, a1-a0], like haddpd for b and hsubpd for a
static inline
__m128d haddsub_pd(__m128d a, __m128d b) {
__m128d lows = _mm_unpacklo_pd(a,b); // [b0, a0]
__m128d highs = _mm_unpackhi_pd(a,b); // [b1, a1]
return _mm_addsub_pd(highs, lows); // [b1+b0, a1-a0]
}
With gcc -msse3
and clang (on Godbolt)我们得到了预期:
movapd xmm2, xmm0 # ICC saves a code byte here with movaps, but gcc/clang use movapd on double vectors for no advantage on any CPU.
unpckhpd xmm0, xmm1
unpcklpd xmm2, xmm1
addsubpd xmm0, xmm2
ret
在内联时这通常不重要,但作为一个独立的函数,gcc和clang在需要b
启动的同一寄存器中的返回值时会遇到麻烦,而不是a
。 (例如,如果args反转,那么它是haddsub(b,a)
)。
# gcc for haddsub_pd_reverseargs(__m128d b, __m128d a)
movapd xmm2, xmm1 # copy b
unpckhpd xmm1, xmm0
unpcklpd xmm2, xmm0
movapd xmm0, xmm1 # extra copy to put the result in the right register
addsubpd xmm0, xmm2
ret
clang实际上做得更好,使用不同的shuffle(movhlps
而不是unpckhpd
)仍然只使用一个寄存器副本:
# clang5.0
movapd xmm2, xmm1 # clangs comments go in least-significant-element first order, unlike my comments in the source which follow Intel's convention in docs / diagrams / set_pd() args order
unpcklpd xmm2, xmm0 # xmm2 = xmm2[0],xmm0[0]
movhlps xmm0, xmm1 # xmm0 = xmm1[1],xmm0[1]
addsubpd xmm0, xmm2
ret
对于带有__m256d
向量的AVX版本,_mm256_unpacklo/hi_pd
的通道内行为实际上是你想要的,一次,得到偶数/奇数元素。
static inline
__m256d haddsub256_pd(__m256d b, __m256d a) {
__m256d lows = _mm256_unpacklo_pd(a,b); // [b2, a2 | b0, a0]
__m256d highs = _mm256_unpackhi_pd(a,b); // [b3, a3 | b1, a1]
return _mm256_addsub_pd(highs, lows); // [b3+b2, a3-a2 | b1+b0, a1-a0]
}
# clang and gcc both have an easy time avoiding wasted mov instructions
vunpcklpd ymm2, ymm1, ymm0 # ymm2 = ymm1[0],ymm0[0],ymm1[2],ymm0[2]
vunpckhpd ymm0, ymm1, ymm0 # ymm0 = ymm1[1],ymm0[1],ymm1[3],ymm0[3]
vaddsubpd ymm0, ymm0, ymm2
当然,如果你有两次相同的输入,即你想要一个向量的两个元素之间的和和差,你只需要一个shuffle来提供addsubpd
// returns [a1+a0 a1-a0]
static inline
__m128d sumdiff(__m128d a) {
__m128d swapped = _mm_shuffle_pd(a,a, 0b01);
return _mm_addsub_pd(swapped, a);
}
这实际上非常笨拙地编译gcc和clang:
movapd xmm1, xmm0
shufpd xmm1, xmm0, 1
addsubpd xmm1, xmm0
movapd xmm0, xmm1
ret
但是第二个movapd应该在内联时消失,如果编译器不需要在它开始的同一个寄存器中的结果。我认为gcc和clang都缺少优化:他们可以在复制之后交换xmm0
:
# compilers should do this, but don't
movapd xmm1, xmm0 # a = xmm1 now
shufpd xmm0, xmm0, 1 # swapped = xmm0
addsubpd xmm0, xmm1 # swapped +- a
ret
据推测,他们的基于SSA的寄存器分配器不会考虑使用第二个寄存器来获得相同的a
值来为swapped
释放xmm0。通常,在不同的寄存器中生成结果很好(甚至更好),因此只有在查看函数的独立版本时内联时才会出现问题
怎么样:
__m128d a, b; //your inputs
const __m128d signflip_low_element =
_mm_castsi128_pd(_mm_set_epi64(0,0x8000000000000000));
b = _mm_xor_pd(b, signflip_low_element); // negate b[0]
__m128d res = _mm_hadd_pd(a,b);
这根据haddpd构建了haddsubpd,所以它只是一条额外的指令。不幸的是haddpd
不是很快,大多数CPU的吞吐量为每2个时钟周期一个,受FP shuffle吞吐量的限制。
但这种方式适用于代码大小(x86机器代码)。