34. Энтропия

 

В теории информации чаще всего необходимо знать не количество информации I(x_i), содержащееся в отдельном сообщении, а среднее количество информации в одном сообщении, создаваемом источником сообщений.

Если имеется ансамбль (полная группа) из k сообщений x₁, x₂ ... x_i, x_k с вероятностями p(x_i) ... p(x_k), то среднее количество информации, приходящееся на одно сообщение и называемое энтропией источника сообщений H(x), определяется формулой

                             или                            .

Для нашего случая:

Размерность энтропии - количество единиц информации на символ. Энтропия характеризует источник сообщений с точки зрения неопределённости выбора того или другого сообщения.

Рассмотрим свойства энтропии.

1.     Чем больше неопределённость выбора сообщений, тем больше энтропия.  Неопределённость максимальна при равенстве вероятностей выбора каждого сообщения: p(x₁)=p(x₂)= . . .=p(x_i)=1/k.

В этом случае

                                                                                          

(т.е. максимальная энтропия равна логарифму от объёма алфавита).

Например, при k=2 (двоичный источник)  бит.

2. Неопределённость минимальна, если одна из вероятностей равна единице, а остальные - нулю (выбирается всегда только одно заранее известное сообщение, например, - одна буква): p(x₁)=1; p(x₂)= p(x₃)= ... = p(x_k)= 0. В этом случае H(x)=H_min(x)=0.

Эти свойства энтропии иллюстрируются следующим образом.

Пусть имеется двоичный источник сообщений, т.е. осуществляется выбор всего двух букв (k=2):  x₁  и  x₂       ,         p(x₁)+ p(x₂)= 1.

Тогда

                             

Зависимость H(x) от вероятностей выбора для двоичного источника приведена на рис. 20.1.

Рис.20.1 Зависимость H(x) от вероятностей выбора для двоичного источника

                                                 

 

3.   Укрупним алфавит. Пусть на выходе двоичного источника имеется устройство, которое группирует буквы в слова из n букв. Тогда k = 2ⁿ слов (объём алфавита). В этом случае

                бит.                                                                     

Таким образом, укрупнение алфавита привело к увеличению энтропии в n раз, так как теперь уже слово включает в себя информацию n букв двоичного источника. Тем самым доказывается свойство аддитивности энтропии.

4. Энтропия дискретного источника не может быть отрицательной.

 

Условная вероятность