编辑:我在这里发现了一个有趣的问题。 This link表明gensim在训练和推理步骤中都使用随机性。所以这里建议的是设置一个固定的种子,以便每次都得到相同的结果。为什么我会为每个主题获得相同的概率?
我想要做的是为每个Twitter用户找到她的主题,并根据主题的相似性计算Twitter用户之间的相似性。是否有可能为gensim中的每个用户计算相同的主题,或者我是否必须计算主题词典并对每个用户主题进行聚类?
一般来说,哪个是基于gensim中的主题模型提取来比较两个Twitter用户的最佳方法?我的代码如下:
def preprocess(id): #Returns user word list (or list of user tweet)
user_list = user_corpus(id, 'user_'+str(id)+'.txt')
documents = []
for line in open('user_'+str(id)+'.txt'):
documents.append(line)
#remove stop words
lines = [line.rstrip() for line in open('stoplist.txt')]
stoplist= set(lines)
texts = [[word for word in document.lower().split() if word not in stoplist]
for document in documents]
# remove words that appear only once
all_tokens = sum(texts, [])
tokens_once = set(word for word in set(all_tokens) if all_tokens.count(word) < 3)
texts = [[word for word in text if word not in tokens_once]
for text in texts]
words = []
for text in texts:
for word in text:
words.append(word)
return words
words1 = preprocess(14937173)
words2 = preprocess(15386966)
#Load the trained model
lda = ldamodel.LdaModel.load('tmp/fashion1.lda')
dictionary = corpora.Dictionary.load('tmp/fashion1.dict') #Load the trained dict
corpus = [dictionary.doc2bow(words1)]
tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]
corpus_lda = lda[corpus_tfidf]
list1 = []
for item in corpus_lda:
list1.append(item)
print lda.show_topic(0)
corpus2 = [dictionary.doc2bow(words2)]
tfidf2 = models.TfidfModel(corpus2)
corpus_tfidf2 = tfidf2[corpus2]
corpus_lda2 = lda[corpus_tfidf2]
list2 = []
for it in corpus_lda2:
list2.append(it)
print corpus_lda.show_topic(0)
返回用户语料库的主题概率(当用作语料库时,用户词列表):
[(0, 0.10000000000000002), (1, 0.10000000000000002), (2, 0.10000000000000002),
(3, 0.10000000000000002), (4, 0.10000000000000002), (5, 0.10000000000000002),
(6, 0.10000000000000002), (7, 0.10000000000000002), (8, 0.10000000000000002),
(9, 0.10000000000000002)]
在我使用用户推文列表的情况下,我会收到每条推文的计算主题。
问题2:以下是否有意义:使用之前计算的LDA模型,培训具有多个Twitter用户的LDA模型并为每个用户(使用每个用户语料库)计算主题?
在提供的示例中,list[0]
返回具有相等概率0.1的主题分布。基本上,每行文本都对应不同的推文。如果我用corpus = [dictionary.doc2bow(text) for text in texts]
计算语料库,它会分别给出每条推文的概率。另一方面,如果我像示例一样使用corpus = [dictionary.doc2bow(words)]
,我将只有所有用户词作为语料库。在第二种情况下,gensim为所有主题返回相同的概率。因此,对于这两个用户,我得到相同的主题分布。
用户文本语料库应该是单词列表还是句子列表(推文列表)?
关于twitterRank approach的Qi He和Jianshu Weng在第264页的实施,它说:我们将个人twitterer发布的推文汇总成一个大文件。因此,每个文档对应于twitterer。好吧我很困惑,如果文件将是所有用户推文那么语料库应包含什么?
根据官方文件Latent Dirichlet Allocation,LDA是从词袋计数转变为低维度的主题空间。
您可以在TFIDF的顶部使用LSI,但不能在LDA上使用。如果你在LDA上使用TFIDF,那么它会生成几乎相同的每个主题,你可以打印并检查它。
Fere Res检查以下建议here。首先,您必须从所有用户计算lda模型,然后使用未知文档的提取向量,此处计算为
vec_bow = dictionary.doc2bow(doc.lower().split())
vec_lda = lda[vec_bow]
如果您打印以下内容:print(vec_lda)
您将获得将看不见的文档分发到lda模型主题。