多类感知器的特征向量

问题描述 投票:0回答:1

我正在尝试在python中实现Multiclass Perceptron。当涉及到多分类时,我已经完全理解了感知器算法的概念,但是仍然对我们应该从训练数据中提供的特征向量感到困惑。

问题仅是文本(文档)分类问题。我试图在文本预处理阶段中使用会标字词频率作为感知器的功能。当我根据每个训练文档中的术语(即,单字)频率为每个文档构建特征时,所构建的特征恰好是稀疏的(文档中出现的每个标记的术语频率,而对于不存在的那些标记则为0发生)。

我的问题是关于替代方案的。有没有更好的构造特征向量的解决方案?

谢谢!

python machine-learning perceptron
1个回答
0
投票

另一种解决方法是词嵌入。在这种情况下,您可以使用密集特征(如下面的图片)对它们进行编码,而不是使用一键矢量来对单词进行编码。

此图像显示了降维方法,但是该技术可以用作模型的输入。

enter image description here

更新

一种更好的解决文本问题的方法是递归神经网络(RNN),例如LSTM和GRU。当将这些网络应用于文本问题时,它们会根据文本的奇特词来预测输出。下图显示了RNN的示例。

'X'是输入特征,X1是第一个单词,X2是第二个单词,Xt是最后一个单词,'W'是在网络中传播的信息。使用这种模式,该模型将基于所有文本的信息进行预测,不仅知道会标,而且还知道单词之间的关系。

enter image description here

© www.soinside.com 2019 - 2024. All rights reserved.