- Алфавитный подход. Сообщение рассматривается как последовательность символов некоторого алфавита, и каждому символу этого алфавита сопоставляется одинаковый информационный вес. Чтобы найти этот вес, сначала задают алфавит.
Мощность алфавита (N) — число различных символов в выбранном алфавите. Именно N определяет, сколько информации приходится на один символ:
N = 2i .
- Информационный вес одного символа (i). i — это минимальное целое число бит на символ, при котором хватает кодов для всех символов алфавита: 2i ≥ N.
Пример: N = 10. 23 = 8 — не хватает, 24 = 16 — хватает.
Ответ. i = 4. Бит — единица, в которой выражается найденный информационный вес i. При N = 2 получаем частный базовый случай:
N = 2 ⇒ i = 1 бит.
Информационный объём сообщения (I). Когда известен вес одного символа i, объём всего сообщения находится по количеству символов K:
I = K · I,
где K — число символов в сообщении, i — информационный вес одного символа.