我正在尝试对某些数据进行二进制预测，该数据具有一列带有文本的列和另一些具有数值的列。我的第一个解决方案是在文本上使用word2vec提取30个特征并将它们与“随机森林”中的其他值一起使用。它产生良好的结果。我对改进TEXT to FEATURE模型感兴趣。
然后，我想通过使用BERT来改进特征提取算法。我设法实现了预训练的BERT模型以进行特征提取，并对word2vec进行了一些改进。
现在我想知道，我如何才能对数据上的BERT模型进行微调-以改进特征提取模型-为我的Random Forest算法获得更好的文本到特征。我知道如何为二进制预测变量（BertForSequenceClassification）微调BERT，但不知道如何微调以创建更好的BERT文本特征转换模型。我可以以某种方式使用BertForSequenceClassification中的图层吗？我花了2天的时间来寻找解决方案，但到目前为止仍无法解决...
谨启，彼得