我正在计算元组列表的TD IDF。我已经计算了TF值,它存储在一个元组列表中,我已经计算了IDF值,它也存储在一个元组列表中。例如:
>>print(tf)
[(('0', 'CD'), 0.0036429872495446266), (('09:00', 'CD'), 0.0018214936247723133)
然后
>>print(idf
[(('0', 'CD'), 2.4385423487861106), (('09:00', 'CD'), 2.739572344450092)
现在我想通过0.00364
将2.43854
的值加倍,然后通过0.001821
将2.739
的值加倍,以便输出的格式可以是任何格式:word, td*idf
Ofc这些只是很多的两个值,但我不知道如何迭代这两个列表同时保持单词的“计算值”。
您可以使用列表推导来将两个列表中的元组中的第二个术语相乘,并构建具有指定结构的新列表:
tf = [(('0', 'CD'), 0.0036429872495446266), (('09:00', 'CD'), 0.0018214936247723133)]
idf = [(('0', 'CD'), 2.4385423487861106), (('09:00', 'CD'), 2.739572344450092)]
[(t1, v1*v2) for (t1, v1), (t2, v2) in zip(tf,idf)]
产量
[(('0', 'CD'), 0.008883578684102406), (('09:00', 'CD'), 0.004990113560018382)]
更新
如果元组中的项目不总是以相同的顺序,例如:
tf = [(('0', 'CD'), 0.0036429872495446266), (0.0018214936247723133, ('09:00', 'CD'))]
你可以使用以下方式订购
[(t,f) if isinstance(t, tuple) else (f,t) for t, f in tf]
# [(('0', 'CD'), 0.0036429872495446266), (('09:00', 'CD'), 0.0018214936247723133)]
只需使用列表理解。请注意,如果单词的顺序关闭,您将结束将错误的td * idf附加到错误的单词。为了避免对单词的值不匹配,也许你想首先在sort
中列出元组。但是,如果tf
和idf
的长度不同,那么它将截断较长的列表以匹配较短的列表。这也是有问题的,因为如果有一个额外的元组将每个元组向下移动一个索引,则单词可能不匹配。
result = [(tup1[0], tup1[1]*tup2[1]) for tup1, tup2 in zip(tf,idf)]
可以将它们转换为dicts:
tf = [(('0', 'CD'), 0.0036429872495446266), (('09:00', 'CD'), 0.0018214936247723133)]
tf_dict = dict(tf)
print(tf_dict)
>> {('0', 'CD'): 0.0036429872495446266, ('09:00', 'CD'): 0.0018214936247723133}
idf = [(('0', 'CD'), 2.4385423487861106), (('09:00', 'CD'), 2.739572344450092)]
idf_dict = dict(idf)
# now you have same keys in both dicts
res = {k: v*idf_dict[v] for k,v in tf_dict.items()}
试试这个:
tf =[(('0', 'CD'), 0.0036429872495446266), (('09:00', 'CD'), 0.0018214936247723133)]
idf= [(('0', 'CD'), 2.4385423487861106), (('09:00', 'CD'), 2.739572344450092)]
output = [(i[0],i[1]*j[1]) for i,j in zip(tf,idf)]
输出将是:
[(('0', 'CD'), 0.008883578684102406), (('09:00', 'CD'), 0.004990113560018382)]