文本分类中的异常检测

问题描述 投票:0回答:1

我使用OneClassSVM构建了一个文本分类器。

我的训练集只对应一个标签,即(“是”),而我没有其他(“否”)标签数据。我的任务是构建一个分类器,如果它与训练数据非常相似,则将新的看不见的句子(测试数据)分类为1。否则,它归类为-1,即(异常)。

我已经使用Word2Vec为我的训练数据构建了嵌入词。然后,我使用OneClassSVM的字矢量平均来构建异常检测器分类器。

该分类器目前的准确度约为50%-55%。我必须进一步增强这一点,以构建一个强大的分类器。

对这个问题的任何建议都会有所帮助......

nlp word2vec outliers anomaly-detection
1个回答
1
投票

我建议采用一种非常不同的方法,因为根本没有负面课程的训练样例。您可以在训练数据上训练语言模型。在推理时,您使用语言模型对输入进行评分,并根据LM根据输入句子的困惑度的某个阈值对其进行分类。

© www.soinside.com 2019 - 2024. All rights reserved.