§ 33. Измерение количества информации

Определения и обозначения

Бит — количество информации, получаемое при выборе одного из двух равновероятных вариантов. Например, ответ «да» или «нет» даёт один бит информации. Эта единица нужна, чтобы измерять уменьшение неопределённости.

Мощность алфавита — число символов, которыми можно составлять сообщения. В алфавит входят буквы, цифры, знаки и пробелы, если они разрешены. Эта величина показывает, сколько разных вариантов должен различать код.

Информационный вес символа — количество информации, которое несёт один символ. Если мощность алфавита N = 2ⁱ, вес символа равен i битам. Он нужен для вычисления объёма всего текста.

Байт — единица количества информации, состоящая из восьми битов: 1 байт = 8 бит. Байты удобнее использовать при оценке размеров файлов. Чтобы перейти от битов к байтам, число бит делят на 8.

Как это устроено

Пусть есть N равновероятных вариантов, из которых выбирают один. Один бит позволяет различить два варианта, два бита — 2 · 2 = 4 варианта, три бита — 2 · 2 · 2 = 8 вариантов. Поэтому при i битах число различимых вариантов равно N = 2ⁱ: каждый новый бит вдвое увеличивает число комбинаций.

Если известна мощность алфавита N, вес символа находят из формулы i = log₂ N. Логарифм показывает, в какую степень нужно возвести 2, чтобы получить N. Например, log₂ 32 = 5, потому что 2⁵ = 32, значит один символ несёт 5 бит.

Когда мощность алфавита не равна степени двойки, значение log₂ N может быть нецелым. В теоретической оценке можно говорить о таком среднем информационном весе, но в обычном фиксированном коде целое число битов должно хватить для каждого символа. Поэтому обычно берут ближайшее целое сверху: для 10 символов требуется 4 бита, так как 2³ = 8 недостаточно, а 2⁴ = 16 достаточно.

В сообщении символы несут информацию независимо по очереди, если для всех них используется один и тот же алфавит и одинаковый код. Поэтому общий объём получают умножением веса одного символа на количество символов: I = K · i. Здесь K — длина сообщения, а I — его количество информации.

Для перевода единиц используют соотношение 1 байт = 8 бит. Например, 64 бита составляют 64 : 8 = 8 байт, а 7 байт — это 7 · 8 = 56 бит. Результат записывают в той единице, которая указана в условии или удобнее для сравнения размеров данных.

Связь мощности алфавита и количества информации

Сначала по N определяют вес одного символа i, затем используют длину сообщения K. После умножения результат можно перевести из битов в байты. Не смешивайте N и K: первое число описывает алфавит, второе — конкретный текст.

Разбор задач

Выбор ответа «да» или «нет»

При выборе одного из двух равновероятных ответов нужно определить число вариантов. Это ровно тот случай, для которого введена единица бит. Полученный результат не зависит от того, какой ответ фактически выбран.

1. Число вариантов равно 2.
2. Используем связь N = 2ⁱ: 2 = 2¹.
3. Следовательно, i = 1 бит.

Ответ: результат несёт 1 бит информации.

Алфавит из 32 символов

Нужно найти вес одного символа, а затем объём сообщения из 20 символов. Число 32 удобно представить как степень двойки. Одинаковый вес всех символов позволяет применить формулу умножения.

1. 32 = 2⁵, поэтому вес символа i = 5 бит.
2. В сообщении K = 20 символов.
3. Вычисляем общий объём: I = K · i = 20 · 5 = 100 бит.

Ответ: один символ несёт 5 бит, а сообщение — 100 бит информации.

Сообщение из 150 символов и алфавит из 256 символов

Сначала найдём количество бит на один символ, затем умножим его на длину сообщения. После этого переведём результат в байты. Мощность 256 является степенью двойки, поэтому вычисление получается точным.

1. 256 = 2⁸, значит i = 8 бит на символ.
2. I = 150 · 8 = 1200 бит.
3. Переводим в байты: 1200 : 8 = 150 байт.

Ответ: 1200 бит, или 150 байт.

Типичные ошибки

Путать мощность алфавита и длину сообщения. Мощность — число доступных символов, а длина — сколько символов записано в тексте. Проверьте себя: в условии должны отдельно встречаться N и K.

Считать число символов числом бит на символ. Например, алфавит из 32 знаков требует не 32 бита, а 5, потому что 32 = 2⁵. Всегда представляйте N как степень двойки или вычисляйте log₂ N.

Забывать умножение на длину сообщения. Найденный вес относится только к одному символу, поэтому для K символов нужен расчёт I = K · i. Если в ответе указано столько же бит, сколько у одного символа, проверьте этот шаг.

Неверно переводить биты и байты. В одном байте ровно 8 бит, поэтому биты делят на 8, а байты умножают на 8. Полезная проверка: при переводе большого числа бит в байты результат должен стать в восемь раз меньше.

Связь с другими темами

Для решения задач нужны степени двойки и понимание двоичного выбора: каждый разряд двоичного кода удваивает число представимых вариантов. Поэтому полезно уверенно знать равенства 2³ = 8, 2⁴ = 16, 2⁵ = 32 и далее.

Подсчёт количества информации связан с хранением данных. Он помогает оценивать объём текстовых файлов, сравнивать способы кодирования и выбирать код, в котором достаточно комбинаций для всех символов.

Что запомнить

• Один бит соответствует выбору из двух равновероятных вариантов.
• Мощность алфавита — число символов в нём.
• Если N = 2ⁱ, то один символ алфавита несёт i бит.
• Информационный вес символа находят по формуле i = log₂ N.
• Количество информации в сообщении: I = K · i.
• 1 байт = 8 бит.