我们有一些数据和带有潜在变量的概率模型，我们想在看到数据后估计后验分布。通常这个p（x | z）很难计算，因此我们使用变分推理或MCMC。
我不明白为什么MCMC起着至关重要的作用。 MCMC只能抽取样本。但我们可能想要拟合模型参数，而不仅仅是绘制样本。例如，对于$ p（x，\ theta | z）$我们可能想要拟合参数$ \ theta $，只有绘制样本不能满足我们的需要。
我的问题是，既然MCMC只能绘制后验样本，为什么它很重要？
蒙特卡罗是有道理的，因为它遵守统计规律 - 大数click here定律，如果样本量足够大，样本的均值和方差基本上收敛于人口本身的均值和方差。 。
接下来的问题是样本量应该有多大？
这由下面的公式给出，
N ≥ 0.25 * (Zα/2/ϵ)^2
N - denotes the sample size,
α - the width which has the maximum probability,
ϵ - the error allowed which comes from chebyshev's inequality.
我建议不要抽取大量样本，而是通过拟合参数来计算出所需的样本量。
你的中心假设是不正确的。我们使用mcmc，因为p（z）（即归一化常数）通常很难计算 - 不是因为p（x | z）很难计算。
在这些情况下，归一化常数难以计算，后验分布不是真正的分布，因为它不总和为1，这使得整合不可能。
mcmc在这些情况下很有用：mcmc允许您在没有标准化常数的情况下集成（或近似）后验分布。