我正在开发推文分类器。我训练了一个带有tfidf数据集的knsiffsiffier,其中每行的长度为3.173,在训练模型后将其加载到文件中,以便我可以对新推文进行分类。
问题是,每次我提取新推文并尝试对它们进行分类时,tfidf lenths的变化取决于新提取的推文的词汇量,因此模型不可能对这些新推文进行分类。
我一直在寻找并试图解决这个问题两天,但没有找到有效的解决方案。如何有效地将查询数据的维度调整到训练数据的维度?
这是我的代码:
#CLASIFICA TWEETS TASS TEST
clf = joblib.load('files/model_knn_pos.sav')
#Carga los tweets
dfNew = pd.read_csv(f'files/tweetsTASStestCaract.csv', encoding='UTF-8',sep='|')
#Preprocesa
prepro = Preprocesado()
dfNew['clean_text'] = prepro.procesa(dfNew['tweet'])
#Tercer excluso
dfNew['type'].replace(['NEU','N','NONE'], 'NoPos', inplace=True)
#Funcion auxiliar para crear los vectores
def tokenize(s):
return s.split()
#Creo un vector por cada tweet, tendré en cuenta las palabras q aparezcan al menos 3 veces
vect = TfidfVectorizer(tokenizer=tokenize, ngram_range=(1, 2), max_df=0.75, min_df=3, sublinear_tf=True)
muestra = vect.fit_transform(dfNew['clean_text']).toarray().tolist()
#Caracterizo los tweets a clasificar
for i in range(len(muestra)):
caract=dfNew.drop(columns=['tweet','clean_text','type']).values[i]
muestra[i].extend(caract)
#Clasifica pos
y_train=dfNew['type'].values
resultsPos = clf.predict(muestra)
print(Counter(resultsPos))
这是我得到的错误:
在sklearn.neighbors.kd_tree.BinaryTree.query中的文件“sklearn / neighbors / binary_tree.pxi”,第1294行
ValueError:查询数据维度必须与训练数据维度匹配
解决方案很简单:
您需要将vect.fit_transform()
与训练数据一起使用。但是,在使用测试数据时,您只需要使用vect.transform()
。