§ 3. Измерение информации

Определения и обозначения

Алфавит сообщения — набор символов, которыми можно записать сообщение. Например, для двоичного кода алфавит состоит из 0 и 1, а для русского текста — из букв, знаков препинания и других используемых знаков. Число различных символов называют мощностью алфавита и обозначают N; она нужна, чтобы оценить, сколько вариантов передаёт один знак.

Информационный вес символа — количество информации, приходящееся на один символ. Если все N знаков алфавита равновероятны, вес равен i = log₂N бит. Этот показатель позволяет сравнивать символы из разных алфавитов: знак из более мощного алфавита обычно сообщает о выборе больше, чем знак из небольшого.

Количество информации в сообщении — информационный вес сообщения целиком. При алфавитном подходе для равновероятных символов его находят как произведение веса одного символа на число символов: I = i × K, где K — длина сообщения. Так можно оценить объём информации, не разбирая смысл текста.

Бит — единица измерения информации. Один бит соответствует выбору одного из двух равновероятных вариантов, например ответа «да» или «нет». Поэтому бит служит удобной основой для измерения и сравнения количества информации.

Как это устроено

Длина показывает только число знаков, но не количество вариантов, которые мог обозначать каждый знак. Например, один символ из алфавита в 4 знака и один символ из алфавита в 16 знаков имеют одинаковую длину, но во втором случае выбор может сообщить больше. Поэтому при алфавитном измерении учитывают и длину, и мощность алфавита.

Связь мощности алфавита с двоичными вопросами помогает понять формулу веса символа. Чтобы выбрать один знак из двух, достаточно одного вопроса с ответами «да» и «нет»; для четырёх знаков нужны два таких вопроса, ведь 2² = 4. В общем случае, если N = 2ⁿ, требуется n двоичных вопросов, поэтому i = log₂N бит. Формула выражает именно число бит, необходимое для равновероятного выбора.

Алфавитный подход применяют в два шага. Сначала находят вес одного символа по мощности алфавита, а затем умножают его на длину сообщения. Например, если каждый знак несёт 3 бита, то сообщение из 10 знаков содержит 30 бит по этой модели. Такой расчёт предполагает, что символы имеют одинаковый вес и учитывается заданный алфавит.

Вероятностный подход связывает информацию с тем, насколько ожидаемо событие. Сообщение о событии, которое почти наверняка произойдёт, добавляет мало нового, а редкое событие обычно сообщает больше. При равновероятном выборе из N исходов каждый исход имеет одинаковую долю возможных вариантов, и количество информации о выбранном исходе равно log₂N бит. Если вероятности различаются, нельзя просто подставить число исходов в эту формулу.

Для перевода единиц сначала определяют, что именно дано: биты или байты. Один байт содержит 8 бит, поэтому для перехода от битов к байтам число делят на 8. В школьных задачах крупные двоичные единицы обычно соотносят с предыдущими множителем 1024, а не 1000; последовательность таких переходов приведена в таблице. Это помогает не смешивать двоичные соотношения с десятичными приставками.

Единицы измерения информации и их соотношения

Для перехода к следующей единице делите значение на 1024, а для обратного перехода умножайте на 1024. Исключение — переход между битами и байтами: здесь используют число 8. Перед вычислением проверьте, в каких единицах дан ответ.

Разбор задач

Задача 1. В равновероятном алфавите 8 символов. Найдём информационный вес одного символа. Поскольку каждый знак равновероятен, можно применить формулу i = log₂N.

1. Подставляем мощность алфавита: i = log₂8.
2. Представляем 8 как степень двойки: 8 = 2³, значит log₂8 = 3.
3. Записываем результат в битах, потому что информационный вес измеряется в битах.

Ответ: 3 бита. Это означает, что для выбора одного из восьми равновероятных знаков достаточно трёх двоичных вопросов.

Задача 2. Сообщение содержит 120 символов алфавита из 16 равновероятных знаков. Нужно найти количество информации. Сначала определим, сколько бит приходится на один символ, и только после этого учтём длину сообщения.

1. Находим вес символа: i = log₂16 = 4 бита, так как 16 = 2⁴.
2. Умножаем вес символа на число символов: I = i × K = 4 × 120.
3. Получаем I = 480 бит. Дополнительный перевод в байты не требуется, поскольку задача просит количество информации.

Ответ: сообщение содержит 480 бит информации. Сначала мы учли возможности алфавита, а затем просуммировали вклад всех знаков.

Задача 3. При равновероятном выборе из 32 вариантов сообщают, какой вариант выбран. Сколько информации несёт это сообщение и как результат отличается от выбора из 8 вариантов? Сравним количество вариантов и выразим их степенями двойки.

1. Для 32 исходов получаем log₂32 = 5 бит, потому что 32 = 2⁵.
2. Для 8 исходов получаем log₂8 = 3 бита, потому что 8 = 2³.
3. Вычитаем результаты: 5 − 3 = 2 бита. Выбор из 32 вариантов несёт на 2 бита больше информации.

Ответ: сообщение о выборе из 32 вариантов несёт 5 бит, а из 8 вариантов — 3 бита. В первом случае приходится различать больше равновероятных возможностей.

Типичные ошибки

Приравнивать количество информации числу символов. Так делают, потому что длина сообщения легко подсчитывается, но каждый знак может иметь разный информационный вес. Сначала определите мощность алфавита и вес символа, а затем умножайте на длину; проверьте, что в вычислении присутствуют оба показателя.

Подставлять длину сообщения вместо мощности алфавита в log₂N. Это происходит, когда путают число знаков в сообщении с числом разных знаков, которыми его можно записать. В формуле N — мощность алфавита или число равновероятных исходов. Для самопроверки спросите себя, что именно обозначает число под логарифмом.

Применять log₂N к неравновероятным событиям. Формула описывает равновероятный выбор, поэтому при разных вероятностях она не даёт корректного ответа сама по себе. Ошибку допускают, принимая число исходов за единственную важную величину. Проверьте условие: если вероятности не одинаковы, используйте подход, учитывающий вероятности.

Путать соотношения единиц. Иногда к битам применяют множитель 1024 или считают, что крупные единицы связаны множителем 1000. В школьных задачах 1 байт = 8 бит, а переходы между крупными двоичными единицами обычно идут по 1024. Перед расчётом подпишите единицу у каждого числа и проверьте, делите вы или умножаете.

Связь с другими темами

Для вычислений понадобятся степени числа 2 и логарифм по основанию 2: например, нужно узнавать, что 16 = 2⁴, а log₂16 = 4. Также важно уметь переводить числа между единицами измерения, чтобы не смешивать биты и байты. Эти навыки помогают обосновать результат, а не только подставить числа в формулу.

Алфавитный подход применяют при оценке объёма текстовых сообщений и изучении кодирования символов. Вероятностная трактовка расширяет представление об информации: она подготавливает к понятию энтропии и оценке информации в случайных событиях. В дальнейшем важно будет учитывать не только число исходов, но и их вероятности.

Что запомнить

• Информационный вес символа зависит от мощности алфавита.
• Для равновероятного алфавита из N символов i = log₂N бит.
• При алфавитном подходе количество информации в сообщении равно весу символа, умноженному на число символов.
• Один бит соответствует выбору между двумя равновероятными вариантами.
• Для равновероятных исходов из N вариантов количество информации равно log₂N бит.
• Один байт содержит 8 бит.