§ 18. Измерение количества информации

Определения и обозначения

Количество информации — числовая мера уменьшения неопределённости после получения сообщения. Если до сообщения возможны разные варианты, а после него остался один, неопределённость уменьшилась. Это понятие позволяет сравнивать информационную ценность сообщений не только по их длине.

Бит — единица измерения информации, соответствующая выбору одного из двух равновероятных вариантов. Например, ответ «да» или «нет» содержит 1 бит, если оба исхода заранее одинаково возможны. Бит нужен как общая основа для измерения более сложных сообщений.

Алфавитный подход — способ измерения информационного объёма сообщения по числу символов в алфавите и длине сообщения. Сначала выясняют, сколько информации несёт один символ, а затем учитывают количество символов. Такой подход удобен для оценки текстов и кодов, записанных фиксированным набором знаков.

Информационный вес символа — количество информации, содержащееся в одном символе алфавита. Он зависит от мощности алфавита, то есть от числа его символов, и обозначается i. Зная этот вес, можно найти объём всего сообщения умножением на его длину.

Как это устроено

Количество информации связывают с уменьшением неопределённости, потому что сообщение отбрасывает часть возможных исходов. Если результат заранее известен, сообщение ничего нового не добавляет и его информационная ценность равна нулю. Поэтому один и тот же факт может быть очень важен для одного человека и почти бесполезен для другого: всё зависит от того, насколько исход был неизвестен заранее.

Пусть нужно узнать результат выбора одного из N равновероятных вариантов. Формула I = log₂N возникает потому, что один бит различает два варианта, два бита — 2² = 4 варианта, а три бита — 2³ = 8 вариантов. Значит, число битов I должно удовлетворять равенству 2ᴵ = N, откуда I = log₂N. Логарифмический рост означает, что для увеличения числа вариантов в несколько раз требуется добавить, а не во столько же раз увеличить число битов.

Бит соответствует выбору одного из двух вариантов, поскольку двоичный разряд может иметь только два состояния: 0 или 1. Более крупные единицы получают объединением битов: 1 байт равен 8 битам, а ещё большие единицы содержат фиксированное число байтов. Такое укрупнение не меняет количества информации, а только делает запись результата удобнее.

Если алфавит содержит N символов и все они рассматриваются как возможные равноправные варианты, вес одного символа вычисляют по формуле i = log₂N. Для сообщения из K символов каждый знак вносит такой же вклад, поэтому I = K · log₂N. Формула применима при фиксированном алфавите, когда для каждого положения сообщения используется один и тот же набор из N символов.

Основные формулы измерения количества информации

Сначала определите, что именно дано в задаче: число вариантов, размер алфавита или длина сообщения. Затем выберите строку таблицы и подставьте значения в формулу. Если требуется другая единица, в конце выполните перевод между битами и байтами.

В формулах N обозначает число возможных символов или исходов, а K — количество позиций в сообщении. Не следует смешивать эти величины: одна отвечает за разнообразие знаков, другая — за длину записи.

Разбор задач

Задача 1. Сколько информации содержит сообщение о результате выбора одного из 8 равновероятных вариантов? Здесь известно число исходов, поэтому длина сообщения и размер отдельного алфавита не нужны. Нужно найти число двоичных выборов, различающих все 8 вариантов.

1. Записываем формулу: I = log₂N.
2. Подставляем N = 8: I = log₂8.
3. Представляем 8 как 2³: log₂8 = log₂2³ = 3.

Ответ: сообщение содержит 3 бита информации.

Задача 2. Алфавит содержит 16 символов, сообщение имеет длину 25 символов. Сначала найдём вес одного знака, потому что каждый символ выбирается из 16 возможных. Затем умножим этот вес на число позиций.

1. Находим вес символа: i = log₂16 = 4 бита.
2. Умножаем на длину сообщения: I = 25 · 4 = 100 бит.
3. Проверяем единицу результата: длина задана в символах, поэтому итог получен в битах.

Ответ: объём сообщения равен 100 битам.

Задача 3. Сообщение записано алфавитом из 5 символов и содержит 12 символов. Его объём равен I = 12 · log₂5, то есть примерно 27,86 бита. В практическом кодировании число разрядов обычно должно быть целым, поэтому одну запись нельзя представить частью бита: используют не менее 28 бит, а при упаковке в байты — 32 бита.

1. Вычисляем вес символа: log₂5 ≈ 2,32 бита.
2. Находим теоретический объём: I ≈ 12 · 2,32 = 27,86 бита.
3. Переводим теоретическое значение в байты: 27,86 / 8 ≈ 3,48 байта.
4. Округляем для хранения вверх: 28 бит требуют 4 байта, если память выделяется целыми байтами.

Ответ: информационный объём равен примерно 27,86 бита, или около 3,48 байта; практически потребуется 4 байта.

Типичные ошибки

Иногда количество информации заменяют числом символов и считают, что сообщения одинаковой длины равны по объёму. Ошибка возникает из-за игнорирования размера алфавита: символ из 16 знаков несёт больше информации, чем символ из 4 знаков. Проверьте себя: сначала найдите log₂N, а уже потом учитывайте длину сообщения.

Другая ошибка — использование log₂K вместо log₂N. K показывает число символов в сообщении, а N — число возможных вариантов одного символа. Сверьте формулу с вопросом задачи: для одного выбора нужно N, для всего текста дополнительно появляется множитель K.

Можно найти информационный вес одного символа и забыть умножить его на длину сообщения. Такое решение описывает только один знак, а не весь текст. Проверьте результат: если сообщение содержит K символов, в формуле объёма должен присутствовать множитель K.

Часто путают биты и байты или делят на 8 не в ту сторону. Ошибку легко обнаружить по правилу 1 байт = 8 бит: при переходе от битов к байтам число должно уменьшиться в 8 раз, а при обратном переходе — увеличиться.

Связь с другими темами

Для работы с формулами понадобятся степени и логарифмы, особенно свойства логарифма по основанию 2. Двоичная система счисления помогает понять, почему один разряд хранит один бит, а единицы измерения информации связывают результат с байтами.

Тема напрямую используется при изучении кодирования сообщений. Она помогает оценивать, сколько памяти займёт текст, как представить символы в компьютере и почему разные способы кодирования дают разный объём.

Формулы связаны с двоичным кодированием: количество битов показывает, сколько двоичных разрядов нужно для различения возможных вариантов. Чем больше вариантов нужно закодировать, тем больше разрядов требуется.

Что запомнить

• Количество информации измеряет уменьшение неопределённости.
• Бит — основная единица количества информации.
• Один бит соответствует выбору одного из двух равновероятных вариантов.
• Информация о выборе одного из N равновероятных вариантов равна log₂N бит.
• Информационный вес символа алфавита из N символов равен log₂N.
• Объём сообщения из K символов равен K · log₂N.
• В одном байте содержится 8 бит.