§ 1. Количество информации

Определения и обозначения

Количество информации — мера того, насколько уменьшилась неопределённость после получения сообщения. Его измеряют в битах, потому что один бит соответствует выбору между двумя равновероятными исходами: несколько таких выборов позволяют описать и более сложный результат.

Алфавит сообщения — набор символов, которыми это сообщение записано; число символов алфавита обозначают буквой N. Размер алфавита нужен, чтобы определить, сколько разных вариантов можно было выбрать для каждого места в записи.

Информационный вес символа — количество информации, приходящееся на один символ при равновероятном выборе символов. Он зависит от числа возможных символов: чем больше вариантов, тем труднее заранее угадать нужный и тем больше информации даёт его получение.

Энтропия источника — среднее количество информации, приходящееся на одно сообщение или один символ источника с учётом вероятностей вариантов. Она нужна, когда символы встречаются неодинаково часто и одного подсчёта их общего числа недостаточно.

Как это устроено

Представим, что до получения сообщения возможны несколько равновероятных исходов. Пока неизвестно, какой из них наступил, сохраняется неопределённость; сообщение указывает на один конкретный исход и устраняет её. Чем больше было возможных вариантов, тем больше сведений требуется, чтобы различить их, поэтому известие о выбранном исходе несёт больше информации.

Пусть алфавит содержит N равновероятных символов. Чтобы записать любой из них двоичными цифрами, каждой последовательности длины n можно сопоставить один вариант; всего таких последовательностей 2ⁿ. Для кодирования всех символов нужно, чтобы 2ⁿ = N, откуда n = log₂ N. Значит, информационный вес одного символа равен I = log₂ N битам; если N не является степенью двойки, формула всё равно задаёт количество информации, хотя кодирование одинаковой целой длиной может потребовать округления.

В сообщении из K символов каждый символ при равновероятном алфавите в среднем несёт log₂ N бит. Информация складывается по позициям, потому что для каждой из них нужно сделать отдельный выбор из N вариантов. Поэтому количество информации во всём сообщении равно I = K · log₂ N; длина K умножает вес символа, но не заменяет размер алфавита N.

Если известна вероятность конкретного события p, количество информации о его наступлении вычисляют по формуле I = −log₂ p. Вероятность показывает, насколько событие ожидаемо: частый исход легче предсказать, а редкий сильнее меняет наши ожидания. Например, при p = ½ получаем 1 бит, а при p = ¼ — 2 бита; уменьшение вероятности увеличивает значение информации.

Для источника с неравновероятными символами нельзя считать, будто каждый из них встречается одинаково часто. Символы с малой вероятностью дают больше информации при появлении, а частые — меньше. Чтобы найти среднее на один символ, каждое значение −log₂ pᵢ умножают на вероятность этого символа и складывают результаты: H = Σ pᵢ · (−log₂ pᵢ). Так получается энтропия источника — средняя информация с учётом частоты вариантов.

Способы вычисления количества информации

В таблице сначала выберите ситуацию, которая соответствует задаче, а затем найдите нужные исходные данные и формулу. Для отдельного события важна вероятность именно этого события, а для энтропии нужны вероятности всех символов источника. Если сообщение составлено из равновероятных символов, сначала найдите вес одного символа, затем учтите длину записи.

Разбор задач

Задача 1. Алфавит состоит из 32 равновероятных символов. Сколько бит информации несёт один символ? Здесь спрашивают не о длине целого сообщения, а о весе одного символа, поэтому достаточно знать размер алфавита.

1. Записываем формулу для равновероятного выбора: I = log₂ N.
2. Подставляем N = 32. Так как 32 = 2⁵, логарифм log₂ 32 равен 5.
3. Единица измерения — бит, поэтому информационный вес символа равен 5 битам.

Ответ: 5 бит.

Задача 2. Сообщение содержит 120 символов алфавита из 16 равновероятных символов. Найдём информацию во всей записи. Сначала выясним, сколько бит приходится на одну позицию, а затем учтём 120 позиций.

1. Для одного символа используем I = log₂ N. Поскольку 16 = 2⁴, информационный вес символа равен 4 битам.
2. Умножаем вес символа на длину сообщения: I = K · log₂ N = 120 · 4.
3. Получаем 480 бит информации во всём сообщении.

Ответ: 480 бит.

Задача 3. Источник выдаёт символы с вероятностями ½, ¼, ⅛ и ⅛. Нужно найти энтропию и среднее количество информации в сообщении из 80 символов. Вероятности складываются в единицу; вклад каждого символа в среднее зависит и от его информационного веса, и от частоты появления.

1. Для вероятности ½ информационное значение равно −log₂(½) = 1 бит.
2. Для вероятности ¼ оно равно 2 битам, а для каждой вероятности ⅛ — 3 битам.
3. Вычисляем среднее: H = ½ · 1 + ¼ · 2 + ⅛ · 3 + ⅛ · 3 = 1,75 бита на символ.
4. Для 80 символов среднее количество информации равно 80 · 1,75 = 140 бит.

Ответ: энтропия — 1,75 бита на символ, среднее количество информации в сообщении — 140 бит.

Типичные ошибки

Ошибка — считать, что количество информации определяется только длиной сообщения. Так думают, потому что в простых задачах длину действительно умножают на вес символа; однако вес зависит от алфавита, а в вероятностном подходе — ещё и от вероятностей. Проверка: выясните, известны ли N или вероятности, и не подставляйте K вместо недостающих данных.

Ошибка — подставлять число символов сообщения в формулу I = log₂ N. Её допускают, смешивая два числа: N показывает разнообразие алфавита, а K — длину конкретного сообщения. Проверьте обозначения в условии: для равновероятного сообщения должна получиться формула I = K · log₂ N.

Ошибка — применять I = −log₂ p, не установив, вероятность какого события задана. Вероятность может относиться к конкретному символу, исходу или событию, а не ко всему сообщению автоматически. Перед вычислением назовите это событие и убедитесь, что p — именно его вероятность; также проверьте, что 0 < p ≤ 1.

Ошибка — вычислять энтропию без вероятностных множителей или использовать неверные вероятности. Так происходит, когда среднее принимают за обычную сумму информационных весов. Для проверки каждый вес −log₂ pᵢ умножают на соответствующее pᵢ, складывают вклады, а сумма всех вероятностей должна быть равна 1.

Связь с другими темами

Для вычислений нужны степени и логарифмы: log₂ N отвечает на вопрос, в какую степень нужно возвести 2, чтобы получить N. Поэтому полезно уметь узнавать степени двойки и находить логарифмы таких чисел.

Вероятностный подход опирается на представления о вероятности события и равновероятных исходах. Понимание этих понятий помогает выбрать подходящую формулу и правильно определить, что означает p.

Количество информации и энтропия пригодятся при изучении двоичного кодирования, сжатия данных и эффективности передачи информации. Они помогают оценивать, сколько данных нужно для представления сообщений и насколько экономно можно их передать.

Что запомнить

• Количество информации измеряют в битах.
• Для N равновероятных вариантов информация об одном выбранном варианте равна log₂ N битам.
• Для сообщения из K символов равновероятного алфавита I = K · log₂ N.
• Чем меньше вероятность события, тем больше информации несёт известие о его наступлении.
• Количество информации о событии вероятности p равно −log₂ p.
• Энтропия — среднее количество информации, приходящееся на один символ источника.