从具有有限的存储器流感知训练

Question

我想用随机梯度rulefrom流数据来训练感知。我的内存量非常有限，我只能存储N $例子。

假设如图中下面的图片群组成点：

现在假设进来以下方式我第一次N例子，我可以正确地将其分类为显示在未来的图片：

现在的问题是，如果在未来N例子来这样：

和我归他们，如图所示。问题是，既然不能感知训练对以前N例子（因为我只能存储N例子，以前N实例需要被扔掉），并在下次N例子培训违背了超平面的前面N例子。

如何培养从流数据的感知？我是否需要存储所有实例或存在另一种方式？

Answer 1

你需要以某种方式总结您之前的训练，然后结合该汇总到新的训练。

一个简单的方法做，这是表达每个类别为k（簇群）群集的质心的副本。当你训练的每一个新的数据集，包括代码正确加权重心。

类似的方法是改变你的训练算法直接将体重为你改变评价系数的方式。 “学习率”在这里很有用。

你也可以搜索上线培训与流数据所做的工作;我给你只是启动方法的简单版本。

Answer 2

是不是不太可能已经分配给您的数据，以便不同，如果来源是每次都一样的吗？

如果没有，你可能只节省每人口的K个样本，直到并且比那些更广泛的分布式数据训练你的内存限制踢。