§ 2. Подходы к измерению информации

Определения и обозначения

Количество информации — численная мера сведений, полученных из сообщения. Его выражают в выбранных единицах, чаще всего в битах. Значение зависит не только от самого сообщения, но и от способа оценки и условий задачи. Поэтому перед вычислением нужно выяснить, что именно известно: алфавит сообщения или вероятность события.

Бит — единица измерения количества информации. Один бит соответствует выбору одного из двух равновероятных вариантов, например «да» или «нет». Такой выбор можно записать одним двоичным разрядом — 0 или 1. Бит нужен как общая мера, с которой удобно сравнивать объём разных сообщений.

Алфавитный подход — способ измерить информацию в сообщении по числу символов и мощности алфавита, то есть количеству разных знаков в нём. При равновероятности знаков этот подход позволяет найти объём одного символа и всей записи. Он полезен, когда оценивают текст или данные, а их алфавит известен. Число знаков в алфавите и длина сообщения при этом обозначают разные величины.

Вероятностный подход измеряет информацию с учётом вероятности события, о котором сообщает текст. Чем менее ожидаемо событие, тем больше сведений даёт сообщение о его наступлении. Этот способ нужен, когда известна вероятность события, а не только набор символов для записи. Он помогает объяснить, почему одинаковые по длине сообщения могут иметь разную информационную ценность.

Как это устроено

Длина сама по себе не определяет количество информации: одинаковое число символов может быть взято из алфавитов разной мощности. Кроме того, сообщение о привычном событии обычно сообщает меньше нового, чем сообщение о неожиданном. Поэтому при оценке нужно учитывать и способ записи, и смысл сообщения в заданных условиях. Этим объясняется существование алфавитного и вероятностного подходов.

В алфавитном подходе предполагается, что каждый из N символов может встретиться с одинаковой вероятностью. Если N = 2, выбор символа равносилен одному выбору из двух вариантов и несёт 1 бит. Для алфавита из N символов количество информации одного символа равно I = log₂N бит. Если сообщение содержит K символов, вклад каждого из них складывают: общий объём равен K·log₂N бит.

Основание логарифма 2 выбирают потому, что единицей служит бит, связанный с двоичным выбором. Логарифм отвечает на вопрос: в какую степень нужно возвести 2, чтобы получить число вариантов N? Поэтому из I = log₂N следует равенство N = 2ᴵ. Например, 3 бита позволяют различить 2³, то есть 8, равновероятных вариантов.

Вероятностный подход оценивает сообщение о событии через его вероятность p. Редкое событие сильнее меняет представление о происходящем, когда становится известно, что оно наступило, поэтому несёт больше информации. Количество информации находят по формуле I = −log₂p. Для p = 1 информация равна нулю: если событие гарантировано, сообщение о нём не добавляет сведений.

Подход выбирают по данным задачи. Когда требуется оценить объём текста и задан алфавит, удобно считать символы и применять алфавитную формулу; условие равновероятности при этом обязательно. Когда речь идёт о событии и известна его вероятность, используют вероятностную формулу. Эти оценки отвечают на разные вопросы, поэтому их не следует смешивать.

Сравнение подходов к измерению информации

Сначала определите, какие данные даны в условии: число символов и алфавит или вероятность события. Затем выберите соответствующий столбец и проверьте, выполнены ли его условия. Если вероятности символов не равны, формула алфавитного подхода в этой таблице неприменима.

Разбор задач

Задача 1. Алфавит состоит из 8 равновероятных символов. Сколько информации несёт один символ? Здесь дана мощность алфавита, а условие равновероятности позволяет использовать формулу I = log₂N. Нужно определить, какой показатель степени числа 2 даёт 8. Полученный показатель и будет количеством бит.

1. Записываем мощность алфавита: N = 8.
2. Подставляем её в формулу: I = log₂8.
3. Поскольку 2³ = 8, получаем log₂8 = 3.

Ответ: один символ несёт 3 бита информации. Проверка через обратную связь даёт 2³ = 8 возможных вариантов.

Задача 2. Сообщение из 25 символов записано алфавитом из 16 равновероятных знаков. Требуется найти его информационный объём. Сначала нужно узнать вклад одного знака: в формуле используется мощность алфавита, а не длина записи. Затем результат умножается на число символов сообщения. Так учитывается информация, содержащаяся во всей последовательности.

1. Находим информацию одного символа: I₁ = log₂16 = 4 бита, так как 2⁴ = 16.
2. Умножаем на длину сообщения: I = 25·4.
3. Получаем общий объём: I = 100 бит.

Ответ: сообщение несёт 100 бит информации при заданных условиях. Это оценка по алфавитному подходу, поэтому равновероятность знаков здесь существенна.

Задача 3. Вероятность события равна 1/32; нужно найти информацию о его наступлении и сравнить её с информацией о событии вероятности 1/8. Здесь алфавит не задан, зато даны вероятности, поэтому подходит формула I = −log₂p. Дроби удобно представить как степени двойки. После вычислений сравниваем результаты: меньшая вероятность должна дать больше бит.

1. Для первого события: 1/32 = 2⁻⁵, поэтому I₁ = −log₂(2⁻⁵) = 5 бит.
2. Для второго события: 1/8 = 2⁻³, поэтому I₂ = −log₂(2⁻³) = 3 бита.
3. Сравниваем: 5 бит больше 3 бит, а вероятность 1/32 меньше, чем 1/8.

Ответ: сообщение о событии вероятности 1/32 несёт 5 бит, а о событии вероятности 1/8 — 3 бита. Более редкое событие даёт больше информации.

Типичные ошибки

Ошибка: считать, что длинное сообщение всегда информативнее короткого. Такое мнение возникает, если учитывать только число знаков и забывать про алфавит и условия их появления. Длинная запись может состоять из часто повторяющихся или ожидаемых символов. Для проверки уточни мощность алфавита и равновероятны ли его символы.

Ошибка: подставлять длину сообщения вместо мощности алфавита в формулу I = log₂N. Эти числа легко перепутать, потому что оба связаны с количеством символов, но отвечают на разные вопросы. N — число возможных знаков, K — число знаков в конкретном сообщении. Проверь обозначения в условии, прежде чем считать.

Ошибка: применять I = log₂N, не проверив равновероятность символов. Формула для одного символа выведена именно при этом предположении, поэтому для алфавита с разными вероятностями она может дать неверную оценку. Условие иногда упоминает равные шансы прямо, а иногда сообщает, что символы равновероятны. Перед вычислением найди это условие в задаче.

Ошибка: полагать, что более вероятное событие несёт больше информации. Интуитивно его можно считать «более значимым», но формула I = −log₂p показывает обратную зависимость. При уменьшении p количество информации увеличивается, а при p = 1 оно равно нулю. Проверь ответ сравнением вероятностей: редкому событию должно соответствовать больше бит.

Связь с другими темами

Для работы с вероятностным подходом нужны базовые представления о вероятности события: число p показывает, насколько событие возможно в заданных условиях. Также пригодятся степени числа и логарифм по основанию 2, потому что именно они позволяют перейти от количества вариантов к битам. Алфавитный подход встречается при оценке объёма текстов и данных. Вероятностный подход связан с кодированием и передачей информации, где важно учитывать частоту событий.

Что запомнить

• Количество информации измеряют в битах.
• Один бит соответствует выбору между двумя равновероятными вариантами.
• Для равновероятного алфавита из N символов один символ несёт log₂N бит.
• Для сообщения из K символов его объём при этих условиях равен K·log₂N бит.
• Информация о событии вероятности p равна −log₂p.
• Чем менее вероятно событие, тем больше информации несёт сообщение о его наступлении.