NLTK ConditionalFreqDist到Pandas数据帧

Question

我正在尝试使用nltk.ConditionalFreqDist生成的表，但我似乎无法找到任何关于将表写入csv文件或导出为其他格式的文档。我喜欢在pandas dataframe对象中使用它，这也很容易写入csv。我能找到的唯一一个推荐的pickling the CFD object并没有真正解决我的问题。

我编写了以下函数来将nltk.ConditionalFreqDist对象转换为pd.DataFrame：

def nltk_cfd_to_pd_dataframe(cfd):
    """ Converts an nltk.ConditionalFreqDist object into a pandas DataFrame object. """

    df = pd.DataFrame()
    for cond in cfd.conditions():
        col = pd.DataFrame(pd.Series(dict(cfd[cond])))
        col.columns = [cond]
        df = df.join(col, how = 'outer')

    df = df.fillna(0)

    return df

但是，如果我要这样做，也许只需要编写一个新的ConditionalFreqDist函数来生成一个pd.DataFrame。但在重新发明轮子之前，我想看看是否有任何我缺少的技巧 - 无论是在NLTK还是其他地方，使ConditionalFreqDist对象与其他格式对话，最重要的是将其导出到csv文件。

谢谢。

Answer 1

好的，所以我继续编写了一个条件频率分布函数，该函数采用像nltk.ConditionalFreqDist函数这样的元组列表，但返回一个pandas Dataframe对象。比将cfd对象转换为数据帧更快：

def cond_freq_dist(data):
    """ Takes a list of tuples and returns a conditional frequency distribution as a pandas dataframe. """

    cfd = {}
    for cond, freq in data:
        try:
            cfd[cond][freq] += 1
        except KeyError:
            try:
                cfd[cond][freq] = 1
            except KeyError:
                cfd[cond] = {freq: 1}

    return pd.DataFrame(cfd).fillna(0)

Answer 2

这是一个使用collections.defaultdict的好地方：

from collections import defaultdict
import pandas as pd

def cond_freq_dist(data):
    """ Takes a list of tuples and returns a conditional frequency 
    distribution as a pandas dataframe. """

    cdf = defaultdict(defaultdict(int))
    for cond, freq in data:
        cfd[cond][freq] += 1
    return pd.DataFrame(cfd).fillna(0)

说明：defaultdict本质上处理@ primelens在幕后的答案中的异常处理。 KeyError首先使用提供的构造函数为该键创建一个对象，然后继续该对象，而不是在引用尚不存在的键时引发defaultdict。对于内部dict，默认为int()，这是0，然后我们添加1。

请注意，由于defaultdicts中的默认构造函数，这样的对象可能不会很好地腌制 - 要腌制defaultdict，你需要转换为dict拳头：dict(myDefaultDict)。

Answer 3

您可以将FreqDist视为dict，并使用from_dict从那里创建数据帧

fdist = nltk.FreqDist( ... )    
df_fdist = pd.DataFrame.from_dict(fdist, orient='index')
df_fdist.columns = ['Frequency']
df_fdist.index.name = 'Term'
print(df_fdist)
df_fdist.to_csv(...)

输出：

                      Frequency
Term
is                    70464
a                     26429
the                   15079