确定软件变更是否对执行时间有影响

Question

自从我上统计课程以来已经有一段时间了，所以我需要一些帮助来弄清楚如何比较两个结果。

我有一个可以多核运行的软件。为了获得对性能的信心，我对每个核心配置运行了多次并收集执行时间。

我现在对此软件进行了更改，并以与之前完全相同的方式收集结果。我现在有两个长度为

N * M

的执行时间列表，其中

N

是我拥有的核心数量，

M

是我运行软件的次数。

如何从统计上确定更改是否产生任何影响？我已经掸掉了统计书上的灰尘，并相信 配对 t 检验 是合适的。让我不确定的是，我多次更改了核心数量，即使更改也发生在修改后的软件的同一点上。例如，当我从一个核心变为两个核心时，执行时间可能会从 10 秒下降到 6 秒，但成对测量之间的相对差异并没有真正改变。

执行

N

配对 t 测试是否有意义，其中每个测试都是根据在特定数量的内核上运行软件的测量结果来完成的？