为什么我们需要LDA中的超参数beta和alpha？

Question

我试图了解潜在Dirichlet分配（LDA）的技术部分，但我有几个问题在我的脑海中：

第一：为什么我们每次采样下面的等式时都需要添加alpha和gamma？如果我们从等式中删除alpha和gamma怎么办？是否仍然可以获得结果？

第二：在LDA中，我们将主题随机分配给文档中的每个单词。然后，我们尝试通过观察数据来优化主题。在上面的等式中，与后验推断相关的部分在哪里？

Answer 1

如果你看一下推论derivation on Wiki，引入alpha和beta只是因为theta和phi都是由Dirichlet分布绘制的，Dirichlet分布是由它们分别唯一确定的。选择Dirichlet分布作为先验分布（例如P（phi | beta））的原因主要是通过利用共轭先验的良好形式来解决数学问题（这里是Dirichlet和分类分布，分类分布是特例）多国分布，其中n设置为1，即只有一个试验）。此外，Dirichlet分布可以帮助我们“注入”我们的信念，即文档主题和主题 - 单词分布集中在一些主题和文档或主题的单词（如果我们设置低超参数）。如果你删除alpha和beta，我不确定它是如何工作的。

后验推断被联合概率推断所取代，至少在吉布斯采样中，你需要联合概率，而选择一维来“改变状态”，正如Metropolis-Hasting范式所做的那样。你在这里放的公式基本上来自联合概率P（w，z）。我想把你的蒙特卡罗统计方法（由罗伯特）推荐给你，以充分理解推理的原理。