由抽样定理可知，如果一个连续信号的频带限制在0到B赫兹内，则该连续信号完全可用间隔为1/(2B)的抽样序列无失真地表示。
我们来考察每个抽样点所包含的信息量，为与离散消息中每个符号所携带的信息量相对应。可把连续消息看成是离散消息的极限情况。连续消息信号在每个抽样点上的取值是一个连续的随机变量，其一维概率密度函数为P(x)。我们将随机变量的取值范围分成2N小段，当N足够大时，取值落在X小段内的概率可近似表示为
根据信息熵的概念，可得各抽样点统计独立时每个抽样点所包含的平均信息量
令
，则可得连续消息每个抽样点的平均信息量
上式中的第2项为无穷大。但在计算熵变化或比较不同连续消息的熵时，由于这一项始终出现而可相互抵消。因此，我们定义连续信息的平均信息量
为了区分，有时把式的计算结果称为绝对熵，而把式的计算结果称为相对熵。
