符号图中节点的信息熵是什么

Question

我正在尝试建立更好的信息熵直觉。我想看的示例案例是一个符号图，其中叶子比根是更具体的实体类型。

如果可以使用相同数量的位（例如64位ID句柄）来记录图中的每个节点。更具体的'Jack Pine'节点将被视为比'Tree更高或更低的熵。 '节点？

发布后12小时更新：也许这个概念不能用熵来理解。假设符号“ jack pine”比符号“ tree”具有更多的信息，但可以使用相同的位数进行传输-在这种情况下如果接收符号的观察者正在根据先前的知识在他们的脑海中解压缩信息，那么接收“杰克松”的符号比接收符号“树”为他们提供的信息更多，因为他们了解特定类型的树。这是否意味着“千斤顶松木”的熵较低，因为对于给定信号它具有更多信息，因此压缩率更高？

Answer 1