非等概率出现的离散消息的度量

设离散信息源是由n个符号组成的集合，称为符号集。符号集中的每一个符号

在消息中分别按概率独立出现，又设符号集中各符号出现的概率为

则所包含的信息量分别为 ……。则每个符号所含信息量的统计平均值，即平均信息量为

由于H和热力学中的熵形式相似，故通常又称它为信息源的熵，其单位为bit/符号。