确定乘积和多项式中最佳权重的快速算法?

问题描述 投票:2回答:1

我正在寻找一种比在这样的问题中找到最佳系数(又称权重)的快于强力的算法:

将样本定义为一系列N个数字。在这种情况下,比如说N = 10。样本数M非常大,比如M = 1000000。这基本上是M行X N列的矩阵。所以这些样本的集合如下所示:

S_0_0  S_0_1 S_0_2 ... S_0_N
S_1_0  S_1_1 S_1_2 ... S_1_N
...
S_M_0  S_M_1 S_M_2 ... S_M_N

此外,还有一系列相应的N个权重。权重系列P的数量也很大,比如P = 2000000。这是P行X N列的另一个矩阵。它看起来类似于样本集:

W_0_0  W_0_1 S_0_2 ... W_0_N
W_1_0  W_1_1 S_1_2 ... W_1_N
...
W_P_0  W_P_1 S_P_2 ... W_P_N

我试图找到一系列权重(即权重集中的右行),它最大化后续总和(即行x):

W_x_0 * S_0_0  +  W_x_1 * S_0_1  + ... +  W_x_N * S_0_N +
W_x_0 * S_1_0  +  W_x_1 * S_1_1  + ... +  W_x_N * S_1_N +
...
W_x_0 * S_M_0  +  W_x_1 * S_M_1  + ... +  W_x_N * S_M_N

两组数据(Ws和Ss)都是从文件加载的。 Ss是x86 CPU支持的整个范围内的双精度浮点数(从负到正)。我们可以假设的是整数。

这样做的蛮力方式非常简单:对于每个权重行,将其乘以样本集中的每个样本行,同时保持运行总和。跟踪每个重量行的总和,并在结束时选择最佳。

现在,我认为在权重集的构成中存在更智能/更快算法的空间。我们可以假设每行的权重集中只有一个数字变化。所以权重集可能看起来像这样(为简洁起见N = 5):

1 1 1 1 1
1 1 1 1 2
1 1 1 2 2
1 1 2 2 2
1 2 2 2 2
2 2 2 2 2
2 2 2 2 1
2 2 2 1 1
2 2 1 1 1

等等。

换句话说,在蛮力方法中,显然会有很多冗余计算。如果数据集不是那么庞大,那么一个想法是创建每个样本权重产品的地图/缓存,并在计算之前检查它。但考虑到数据集的大小,我认为内存使用率会过高;我的直觉也说地图/缓存查找可能比做天真的乘法慢。

有人知道这里适合的算法或库吗?

编辑1:我在原帖中输了一个错字:重量设置错误地显示了从一行到下一行的两个变化。实际上,每行应该只有一个变化。此外,不要过多地阅读变化的“模式”:主要思想是每行只有一个变化,但这些变化实际存在的方式可以修改为适合特定算法。

编辑2:我认为示例权重集现在真正只显示每行一个更改。

algorithm math mathematical-optimization polynomials
1个回答
5
投票

至少,观察一下

W_x_0 * S_0_0  +  W_x_1 * S_0_1  + ... +  W_x_N * S_0_N +
W_x_0 * S_1_0  +  W_x_1 * S_1_1  + ... +  W_x_N * S_1_N +
...
W_x_0 * S_M_0  +  W_x_1 * S_M_1  + ... +  W_x_N * S_M_N

等于

W_x_0 * (S_0_0 + S_1_0 +...S_M_0) +
W_x_1 * (S_0_1 + S_1_1 +...S_M_1) +
...
W_x_N * (S_0_N + S_1_N +...S_M_N)

这意味着我们可以对S进行求和,然后对列表中的每个权重向量运行操作。

可能存在基于“最远点查询”(在多个维度上)的优化,我不是那么受过教育但会尝试调查。

© www.soinside.com 2019 - 2024. All rights reserved.