Информация и вероятность. Формула Шеннона

• Вероятность p — это отношение количества тех наблюдений k, при которых рассматриваемое событие наступило, к общему количеству наблюдений m:

$𝑝=\frac{𝑘}{𝑚}.$

• Событие невозможно, если p = 0.
• Событие достоверно, если p = 1.
• Событие может наступить или нет при прочих p (например, если p = 0,5).
• Формула Шеннона:

$$𝐼=-\sum _{𝑖=1}^{𝑁}{𝑝}_{𝑖}\cdot {\mathrm{l}\mathrm{o}\mathrm{g}}_2{𝑝}_{𝑖}.$$

• I ‒ количество информации;
• N ‒ количество возможных событий;
• p_i ‒ вероятность i-го события.

  Пример. Определите количество информации, которое несёт сообщение о погоде, если вероятность атмосферных явлений в городе такова:

  • в виде ветра 0,5;
  • в виде дождя 0,25;
  • в виде грозы и молнии 0,125.

    Вероятность ясной погоды 0,125.

    Решение.

$𝐼=-(\mathrm{0,5}\cdot {\log }_2 \mathrm{0,5}+\mathrm{0,25}\cdot {\log }_2 \mathrm{0,25}+\mathrm{0,125}\cdot {\log }_2 \mathrm{0,125}$+

$+ \mathrm{0,125} \cdot$ ${\log }_2 \mathrm{0,125}$) =

$=-\left(-\mathrm{0,5}-\mathrm{0,5}-\mathrm{0,375}\right)=\mathrm{1,75}$ (бит).