在通信中，虽然消息的传递意味着信息的传递，但对于接收者来说，某些消息比另外一些消息包含更多的信息。例如，北京的秋天常常是秋高气爽，因此在这个季节里如果天气预报说:“明天白天晴”,人们习以为常，因而得到的信息量很小。但若天气预报说:“明天白天有雪”,人们将会感到十分意外，后一条天气预报给人们的信息量比前一条大，因为在秋天出现这种气候的可能性极小。从这个例子，我们可以看出，消息出现的可能性越小，则此消息中携带的信息量就越多。
概率论告诉我们，事件的不确定程度，可以用其出现的概率来描述。也就是说，事件出现的可能性愈小，则概率就愈小;反之，则概率就愈大。因此，消息中的信息量与消息发生的概率密切相关，消息出现的概率愈小，则消息中包含的信息量就愈大。如果事件是必然的，即发生的概率为1,则它传递的信息量应为零;如果事件是不可能(概率为0)，则它将有无穷的信息量。如果我们得到不是由一个事件构成而是由若干个独立事件构成的消息，那么我们得到的总的信息量，就是若干个独立事件的信息量的总和。
基于上述考虑，为了计算信息量，消息中所含的信息量I与消息出现的概率P(x)间的关系式应当反映如下规律:
消息中所含的信息量I是该消息出现的概率P(x)的函数，即
消息出现的概率愈小，它所含的信息量愈大;反之信息量愈小，且当P(x)=1时，I =0。
若干个互相独立事件构成的消息，所含信息量等于各独立事件信息量的和，即
可以看出，若I与P(x)的关系式为
就可满足上述要求，哈特莱首先提出采用消息出现概率的对数测度作为离散消息的信息度量单位。
信息量的单位的确定取决于上式中对数底a的确定。当对数以2为底时，则信息量的单位为比特(bit);对数以e为底时，信息量单位为奈特(nit);当对数以10为底时，信息量的单位称为哈特莱。目前应用最为广泛的单位是比特。 (c001)
