§ 28. Еще раз об измерении количества информации

Определения и обозначения

Количество информации — числовая мера уменьшения неопределённости после получения сообщения. Если сообщение исключает много возможных вариантов, оно информативнее. Эта величина нужна, чтобы сравнивать сообщения и оценивать их объём независимо от конкретного текста.

Бит — единица количества информации, соответствующая выбору одного из двух равновероятных вариантов. Например, результат правильного подбрасывания монеты можно описать одним битом. Бит служит основой для измерения более сложных сообщений.

Информационный вес символа — количество информации, приходящееся на один символ сообщения при заданном алфавите. Для равновероятных символов он определяется мощностью алфавита: чем больше вариантов символа, тем больше его вес. Это позволяет перейти от оценки одного символа к оценке всего сообщения.

Энтропия — среднее количество информации, приходящееся на один результат случайного события. Она учитывает не только список исходов, но и вероятности их появления. Энтропия нужна, когда варианты неравноправны и один результат может быть информативнее другого.

Как это устроено

До получения сообщения мы не знаем, какой вариант реализуется, поэтому говорим о неопределённости. Если возможны N вариантов, сообщение о результате оставляет только один из них и исключает остальные. Чем больше вариантов устранено, тем больше уменьшение неопределённости и тем больше количество информации.

При равновероятных вариантах количество информации вычисляют по формуле I = log₂N. Основание 2 связано с выбором единицы: один выбор из двух вариантов должен давать 1 бит, а log₂2 как раз равен 1. При N = 4 получаем 2 бита, потому что четыре варианта можно различить двумя последовательными двоичными выборами.

Один двоичный выбор содержит один бит только при равной вероятности двух его результатов. Если выполнить несколько независимых выборов, неопределённость каждого выбора складывается с неопределённостью остальных. Поэтому последовательность из K независимых двоичных выборов содержит K бит, если каждый выбор даёт по одному биту.

Пусть алфавит содержит M равновероятных символов. Тогда вес одного символа равен i = log₂M, а сообщение длиной K символов содержит I = K · log₂M бит, если символы выбираются независимо. Мощность алфавита определяет, сколько сведений несёт один знак, а длина сообщения показывает, сколько таких знаков использовано.

При неравновероятных исходах одинаковое число вариантов ещё не означает одинаковое количество информации. Исход с вероятностью pᵢ имеет вес iᵢ = −log₂pᵢ: редкое событие сильнее уменьшает неопределённость. Чтобы получить среднюю информацию, веса умножают на соответствующие вероятности и складывают: H = −Σ pᵢlog₂pᵢ.

Способы измерения количества информации

Сначала определите, равновероятны ли варианты и что именно требуется найти: вес одного исхода, всего сообщения или среднее значение. Затем выберите строку таблицы и подставьте известные данные в формулу. Если результат получен в битах, для перевода в байты его делят на 8.

Разбор задач

Задача 1. Определить количество информации в сообщении о результате подбрасывания правильной монеты. У правильной монеты два равновероятных исхода: орёл и решка. Значит, сообщение сообщает результат одного двоичного выбора.

1. Определяем число равновероятных вариантов: N = 2.
2. Используем формулу I = log₂N.
3. Подставляем значение: I = log₂2 = 1.

Ответ: сообщение содержит 1 бит информации.

Задача 2. Алфавит содержит 16 символов, сообщение имеет длину 20 символов. Требуется найти вес одного символа и количество информации во всём сообщении. Предполагаем, что символы равновероятны и выбираются независимо.

1. Находим вес одного символа: i = log₂16 = 4 бита.
2. Умножаем вес символа на длину сообщения: I = 4 · 20.
3. Получаем I = 80 бит.

Ответ: вес символа равен 4 битам, сообщение содержит 80 бит, или 10 байт.

Задача 3. Система выдаёт четыре результата с вероятностями ½, ¼, ⅛ и ⅛. Нужно найти среднее количество информации за один результат. Для каждого исхода сначала вычислим его вес, а затем учтём вероятность этого исхода.

1. Веса исходов равны: −log₂½ = 1, −log₂¼ = 2, −log₂⅛ = 3 и 3 бита.
2. Вычисляем среднее: H = ½ · 1 + ¼ · 2 + ⅛ · 3 + ⅛ · 3.
3. Получаем H = 0,5 + 0,5 + 0,375 + 0,375 = 1,75 бита.

Ответ: среднее количество информации равно 1,75 бита за один результат.

Типичные ошибки

Подмена количества информации числом символов. Два сообщения одинаковой длины могут иметь разную информативность, если их символы или события имеют разные вероятности. Проверяйте, требуется ли найти длину сообщения или уменьшение неопределённости.

Применение log₂N к неравновероятным вариантам. Эта формула работает для равновероятных исходов, а при разных вероятностях даёт неверный результат. Перед вычислением выпишите вероятности и, если они различаются, используйте среднее H = −Σ pᵢlog₂pᵢ.

Игнорирование длины сообщения. Формула log₂M даёт вес только одного символа, а не всего текста. Если сообщение содержит K символов, умножьте вес символа на K, когда выполнены условия независимости и одинакового распределения.

Путаница между битом, разрядом и байтом. Бит является единицей количества информации, а двоичный разряд — местом записи 0 или 1; это связанные, но не полностью одинаковые понятия. Помните соотношение 8 бит = 1 байт и проверяйте, в каких единицах дан ответ.

Связь с другими темами

Для вычислений нужны степени и логарифмы, поскольку формула количества информации записывается через log₂. Вероятности помогают отличать равновероятный случай от неравновероятного и находить энтропию. Перевод единиц нужен при переходе от битов к байтам.

Тема связана с двоичным представлением информации: последовательность двоичных выборов позволяет кодировать сообщения. Информационный вес показывает, сколько двоичных разрядов в среднем требуется для описания символа или результата.

Эти знания применяются при оценке объёма файлов, построении кодов и передаче данных. Они также служат основой для дальнейшего изучения теории информации и способов сжатия сообщений.

Что запомнить

• Количество информации измеряет уменьшение неопределённости.
• Один бит соответствует выбору одного из двух равновероятных вариантов.
• Для N равновероятных вариантов количество информации равно log₂N.
• Информационный вес символа зависит от мощности алфавита.
• Количество информации в сообщении зависит от веса символа и длины сообщения.
• При неравных вероятностях используют среднее количество информации.
• Количество информации измеряют в битах, байтах и более крупных единицах.