香农熵：一个变量是另一个变量的函数，双射与单射情况

Question

[我们有2个随机变量X和Y，Y是X，f(X)的函数。

[H(X|Y) = 0 = H(Y|X)如果f(X)是bijective函数似乎很明显，因为域和共域之间存在明确的映射。

[令我感到困惑的是f(X)是injective函数的情况。我认为这种情况应该等同于双射情况，因此：H(X|Y)应该为0，因为如果我有f(X)的值，那么我只能为X取一个值。H(Y|X)应该为0，因为每个X都映射到共域中的一个值。

我的思考方式正确吗？对我来说，似乎有点奇怪，在这种情况下，双射函数和单射函数之间没有区别。

Answer 1

是的，您是对的！最后，它应该不会那么奇怪。我认为最好回到熵的定义。在这里，我尤其要尝试了解什么是H(f(X))。

[通常，您有H(X) = - sum_x p(x)*log(p(x))，所以要问的问题是在计算f(X)的熵时，p(x)的概率变为多少？正如您正确指出的那样，当函数是双射的时，元素y=f(x)的概率就是p(y)=p(x)，因为元素x映射到唯一的y，因此在这种情况下，您拥有[ C0]。实际上，由于元素H(X)=H(f(X))也唯一地映射到x，因此对于内射函数也是如此，因此概率不会再次发生变化。当您的函数是宾语时，它会变得不同，在这种情况下，多个y可能映射到相同的x。在这种情况下，您将获得y，其中p(y) = sum_x' p(x')是映射到x'的元素。因此，由于分布并不总是匹配，因此可以看到，在计算y的熵时，它不一定与f(X)的熵相同。

现在回到关于条件熵的问题，使用链条规则，当X是双射的或单射的时，通过上述论点，您会得到H(X|f(X))=H(X, f(X))-H(f(X)) = H(X)-H(f(X)) =H(X)-H(X) = 0。

以同样的方式，您得到f，这对任何确定性函数H(f(X)|X)=H(X, f(X))-H(X)) = H(X)-H(X) = 0有效（不需要内插性或其他任何东西。

希望有帮助！