我有一个评论数据集,其类别标签为正面/负面。我正在将朴素贝叶斯应用于该评论数据集。首先,我正在转换成词袋。这里 sorted_data['Text'] 是评论,final_counts 是稀疏矩阵
count_vect = CountVectorizer()
final_counts = count_vect.fit_transform(sorted_data['Text'].values)
我将数据分为训练数据集和测试数据集。
X_1, X_test, y_1, y_test = cross_validation.train_test_split(final_counts, labels, test_size=0.3, random_state=0)
我应用朴素贝叶斯算法如下
optimal_alpha = 1
NB_optimal = BernoulliNB(alpha=optimal_aplha)
# fitting the model
NB_optimal.fit(X_tr, y_tr)
# predict the response
pred = NB_optimal.predict(X_test)
# evaluate accuracy
acc = accuracy_score(y_test, pred) * 100
print('\nThe accuracy of the NB classifier for k = %d is %f%%' % (optimal_aplha, acc))
这里 X_test 是测试数据集,其中 pred 变量告诉我们 X_test 中的向量是正类还是负类。
X_test 形状为(54626 行,82343 维)
pred 的长度为 54626
我的问题是我想获取每个向量中概率最高的单词,以便我可以通过单词了解为什么它预测为正类或负类。那么,如何得到每个向量中概率最大的单词呢?
您可以使用
coefs_
或 feature_log_prob_
属性从拟合模型中获取每个单词的重要性。例如
neg_class_prob_sorted = NB_optimal.feature_log_prob_[0, :].argsort()[::-1]
pos_class_prob_sorted = NB_optimal.feature_log_prob_[1, :].argsort()[::-1]
print(np.take(count_vect.get_feature_names(), neg_class_prob_sorted[:10]))
print(np.take(count_vect.get_feature_names(), pos_class_prob_sorted[:10]))
打印每个班级最有预测性的 10 个单词。
我也遇到了同样的麻烦,也许这是为了数据科学交流论坛,但我想把它发布在这里,因为我取得了很好的结果。
第一:
我们将建立优势比,可以证明它等于 P(单词 i ,+) / P(单词 i ,-) (如果您需要演示,请告诉我)。 如果这个比率大于1就意味着单词i更有可能出现 在积极的文本中比在消极的文本中。
这些是朴素贝叶斯模型中的先验:
# remember normalize=True outputs proportion
prob_pos = df_train['y'].value_counts(normalize=True)[0]
prob_neg = df_train['y'].value_counts(normalize=True)[1]
创建一个数据框来存储单词
df_nbf = pd.DataFrame()
df_nbf.index = count_vect.get_feature_names()
# Convert log probabilities to probabilities.
df_nbf['pos'] = np.e**(nb.feature_log_prob_[0, :])
df_nbf['neg'] = np.e**(nb.feature_log_prob_[1, :])
df_nbf['odds_positive'] = (df_nbf['pos']/df_nbf['neg'])*(prob_pos /prob_neg)
df_nbf['odds_negative'] = (df_nbf['neg']/df_nbf['pos'])*(prob_neg/prob_pos )
最重要的话。这将使您的比率 >1。例如一个 odds_ratio_negative =2 对于单词“damn”意味着这个词 相比之下,当评论或你的班级是否定的时候,发生这种情况的可能性是负面的两倍 带着你积极的课堂。
# Here are the top5 most important words of your positive class:
odds_pos_top5 = df_nbf.sort_values('odds_positive',ascending=False)['odds_positive'][:5]
# Here are the top5 most important words of your negative class:
odds_neg_top5 = df_nbf.sort_values('odds_negative',ascending=False)['odds_negative'][:5]
def get_salient_words(nb_clf, vect, class_ind):
"""Return salient words for given class
Parameters
----------
nb_clf : a Naive Bayes classifier (e.g. MultinomialNB, BernoulliNB)
vect : CountVectorizer
class_ind : int
Returns
-------
list
a sorted list of (word, log prob) sorted by log probability in descending order.
"""
words = vect.get_feature_names()
zipped = list(zip(words, nb_clf.feature_log_prob_[class_ind]))
sorted_zip = sorted(zipped, key=lambda t: t[1], reverse=True)
return sorted_zip
neg_salient_top_20 = get_salient_words(NB_optimal, count_vect, 0)[:20]
pos_salient_top_20 = get_salient_words(NB_optimal, count_vect, 1)[:20]
试试这个:
pred_proba = NB_optimal.predict_proba(X_test)
words = np.take(count_vect.get_feature_names(), pred_proba.argmax(axis=1))