并行Mergesort基准测试 - 确定阈值

Question

我正在尝试确定什么是合理的阈值，以便停止细分我的Mergesort实现。

然而，我得到的结果是阈值应该介于107 <x <108之间，这是荒谬的，因为java使用的默认阈值大约是8192.这基本上告诉我，细分几乎总是坏的，而且更高阈值更好，因为它执行较少的拆分。

它目前所做的工作是对一个大小为108的浮点数组以及随机范围的0到1000进行排序。对于每个测试的阈值重复使用相同的随机阵列。

public class ParallelMergeSort extends SortStrategy {

    @Override
    public long sort(float[] a, int cores, int threshold) {
        System.gc();
        long start = System.nanoTime();
        RecursiveAction mainTask = new SortTask(a, 0, a.length - 1);
        SortTask.threshold = threshold;
        ForkJoinPool pool = new ForkJoinPool(cores);
        pool.invoke(mainTask);
        return System.nanoTime() - start;
    }

    private static class SortTask extends RecursiveAction {
        private float[] a;
        private int left, right;
        private static int threshold;

        SortTask(float[] a, int left, int right) {
            this.a = a;
            this.left = left;
            this.right = right;
        }

        @Override
        protected void compute() {
            if (left < right) {
                if ((right - left) < threshold) {
                    Arrays.sort(a, left, right + 1);
                } else {
                    int mid = (left + right)/2;
                    invokeAll(
                        new SortTask(a, left, mid),
                        new SortTask(a, mid + 1, right)
                    );
                    // Merge
                    int n1 = mid - left + 1;
                    int n2 = right - mid;
                    float a1[] = new float[n1];
                    float a2[] = new float[n2];
                    // Fill sub arrays
                    for (int i = 0; i < n1; ++i)
                        a1[i] = a[left + i];
                    for (int j = 0; j < n2; ++j)
                        a2[j] = a[mid + 1 + j];
                    // Sort and merge
                    int l = 0, r = 0, o = left;
                    while (l < a1.length && r < a2.length) {
                        if (a1[l] <= a2[r])
                            a[o++] = a1[l++];
                        else
                            a[o++] = a2[r++];
                    }
                    // Merge remaining
                    while (l < a1.length)
                        a[o++] = a1[l++];
                    while (r < a2.length)
                        a[o++] = a2[r++];
                }
            }
        }
    }
}

我知道由于JIT，JVM可能不可靠，但它应该只影响前几次迭代吗？寻找关于算法的建议或为什么我的结果远远超出我的期望。

Answer 1

最佳阈值是允许尽可能多的线程并行运行的阈值，因为系统中有核心。

如果您的系统具有cores核心，则应该初始化阈值测试

SortTask.threshold = cores > 0 ? (a.length + cores - 1) / cores : a.length;

速度提升将小于核心数量，因为最后几个合并阶段不能并行运行。

由于您要对108个元素进行排序，因此最佳阈值确实在107到108之间，除非您有超过10个核心。