统一文本和图像分类（蟒蛇）

Question

我工作的一个代码，分类科学文章（使用标题和摘要）的文本。而对于这个我使用的是SVM，它提供了一个良好的精度（83％）。同时我用CNN对这些物品的图像进行分类。我的想法是与图像分类合并文本分类，以提高精度。

有可能的？如果是这样，你将有一些想法，我怎么能实现它或某种准则？

谢谢！

Answer 1

您可以使用CNN两者都做。对于这一点，你会需要两个（甚至三个）输入。一个用于文本（或两个，其中一个是用于抽象，另一个用于标题），并用于图像的第二输入端。然后你就会有一些CONV-MAX池层，你在一个点合并之前。然后，您插入一些额外的CNN或致密层。

你也可以在这个模型中的多个输出。 E.g组合之一，一个文本，一个用于图像。如果您在使用keras你需要的功能API。 A picture of an example model can be found here（他们使用LSTM的例子，但我想你应该坚持CNN。）

Answer 2

如果您从两个分类获得概率可以取它们的平均值，并采取综合作用的结果。但是取加权平均值可能是一个更好的办法在这种情况下，您可以使用验证组找到了重量合适的值。

prob_svm = probability from SVM text classifier
prob_cnn = probability from CNN image classifier
prob_total = alpha * prob_svm + (1-alpha) * prob_cnn  # fine-tune alpha with validation set

如果你能得到另一个分类（可能是不同版本的任意这两个分类的），你也可以做一个多数表决，即采取两个或三个分类同意的类。