如何输入多个文本列的doc2vec向量？

Question

我有一个数据集，其中有3个不同的相关文本信息列，我想将其转换为doc2vec向量，然后使用神经网络进行分类。我的问题是如何将这三列转换为向量并输入神经网络？

如何将连接的向量输入神经网络？

Answer 1

一种方法是在定义的doc2vec中为所有三个文档获取order向量并将它们附加在一起。然后将得到的矢量拟合到神经网络中。

另一种方法是创建一个列，其中每行是3个字符串的列表（表示三个文档）并获得所有三个文档的一个向量表示。请参阅下面的示例代码。

from gensim.test.utils import common_texts
from gensim.models.doc2vec import Doc2Vec, TaggedDocument
documents = [TaggedDocument(doc, [i]) for i, doc in enumerate(common_texts)]
model = Doc2Vec(documents, vector_size=5, window=2, min_count=1, workers=4)
model.infer_vector(['theis is a sentence1', 'here is another sentence', 'this represents the third sentence']).tolist()

完成此操作后，您可以初始化模型并进行训练。

要适合sklearn clasifier，例如sgd，请查看下面的代码段。

from sklearn import svm
clf = svm.SVC(gamma=0.001, C=100.0)
d = pd.DataFrame({'vectors':[[1,2,3], [3,6,5], [9,2,4], [1,2,7]], "targets": ['class1', 'class1', 'class2', 'class2']})
d
>>>
      vectors   targets
0   [1, 2, 3]   class1
1   [3, 6, 5]   class1
2   [9, 2, 4]   class2
3   [1, 2, 7]   class2

您可以在向量上拟合sklearn clasiifier，如下所示。

clf.fit(X = d.vectors.values.tolist(), y =d.targets)

>>>
SVC(C=100.0, cache_size=200, class_weight=None, coef0=0.0,
decision_function_shape='ovr', degree=3, gamma=0.001, kernel='rbf',
max_iter=-1, probability=False, random_state=None, shrinking=True,
tol=0.001, verbose=False)

然后，您可以使用此分类器来预测值。

Answer 2

我建议使用doc2vec将每个文本字段分别转换为矢量，连接矢量并将生成的矢量输入神经网络。