在给定概率（可靠性）下，一位中编码了多少信息是正确的？

Question

假设您测量了一点 b ∈ {0, 1} 并且您知道您的测量结果可能有错误的概率 p ∈ [0, 1]，即测量结果正确的概率为 1-p。平均而言，这样的一位中包含多少信息？

它只是（1位）*（1-p）=（1-p）位吗？（这个猜测是错误的）

我想如果你把它看作一个二元对称通道你就能找到结果。这意味着发送了正确的位值，而以失败概率 p 接收到的可能是错误的位值。如何计算平均传输的信息量？

Answer 1

确实可以直接使用BSC（二进制对称信道）的信道容量来计算一位在概率p下不正确的平均信息量。

当您通过 BSC 传输一位时，接收端的结果只是以概率 p 出错（翻转）的一位。因此，该通道的通道容量为您提供了您正在寻找的内容，即传输所传输的信息量：

C = 1 - H(p),

其中 H 是二元熵函数

H(p) = -p·log2(p) - (1 - p)·log2(1 - p)

所以

C(p) = 1 + p·log2(p) + (1 - p)·log2(1 - p)

.

下图是 C(p) 在 p 上的绘图：