Облако знаний. Алфавитный и вероятностный подходы к измерению информации. Информатика. 10 класс

Алфавитный (объёмный) подход к измерению информации применяется в цифровых системах хранения и передачи информации, когда объём информации определяется по числу символов, используемых для её кодирования.
- Информационный объём I текста, содержащего K символов, определяется из уравнения I = K · i битов, где i — информационный вес одного символа.
- Информационный вес символа — это длина двоичного кода, с помощью которого кодируется символ алфавита.
- Информационный вес символа (i битов) алфавита мощностью N определяется из уравнения 2ⁱ = M, где M — ближайшая к N сверху целая степень двойки.
1 байт = 8 битов, 1 КБ = 1024 байта, 1 МБ = 1024 КБ, 1 ГБ = 1024 МБ, 1 ТБ = 1024 ГБ.
Вероятностный подход к измерению информации основан на использовании вероятностных моделей для описания случайных событий.
- Вероятность p — это отношение количества тех наблюдений k, при которых рассматриваемое событие наступило, к общему количеству наблюдений m: 𝑝 = $\frac{𝑘}{𝑚}$ .
- Событие невозможно, если p = 0.
- Событие достоверно, если p = 1.
- Событие может наступить или нет при прочих p (например, если p = 0,5).
- Формула Шеннона:
  𝐼=− $\sum_{𝑖 = 1}^{𝑁} 𝑝_{𝑖} \cdot {l o g}_{2} 𝑝_{𝑖},$
  где I ‒ количество информации; N ‒ количество возможных событий; p_i‒ вероятность i-го события.