§ 4. Измерение информации. Содержательный подход

Определения и обозначения

Информация — сведения, уменьшающие неопределённость знаний человека о событии или объекте. Сообщение становится полезным, если после него мы лучше понимаем ситуацию. Это определение помогает измерять не длину сообщения, а результат, который оно даёт.

Неопределённость — недостаток знаний о том, какой из возможных равновероятных исходов наступит. Например, до броска монеты неизвестно, выпадет орёл или решка. Понятие нужно, чтобы сравнивать, насколько разные сообщения уменьшают число возможных вариантов.

Бит — единица измерения информации; один бит соответствует выбору одного из двух равновероятных вариантов. Сообщение о стороне выпавшей монеты несёт 1 бит. Бит задаёт простой эталон, с которым можно сравнивать более сложные выборы.

Формула Хартли вычисляет количество информации при выборе одного из N равновероятных вариантов: i = log₂ N. Буква i обозначает количество информации, а N — число исходов. Формула позволяет перейти от числа вариантов к числу битов.

Как это устроено

Количество информации зависит от того, насколько уменьшилась неопределённость. Если до сообщения возможны несколько исходов, сообщение о результате исключает все неподходящие варианты. Поэтому один и тот же по длине текст может давать разное количество информации: значение определяется не числом символов, а изменением наших знаний.

При выборе между двумя равновероятными вариантами неопределённость уменьшается на один бит. Такой выбор можно повторять: сначала определить одну двоичную характеристику, затем другую. Именно поэтому бит подходит как основная единица для измерения информации, связанной с последовательными выборами «да — нет».

Для N равновероятных исходов используется формула i = log₂ N. Основание 2 появляется потому, что каждый дополнительный бит вдвое увеличивает число различимых комбинаций: 1 бит различает 2 варианта, 2 бита — 4, 3 бита — 8. Логарифм как раз отвечает на вопрос, сколько удвоений нужно выполнить, чтобы получить N.

Равновероятность исходов необходима для формулы Хартли. Если один вариант встречается часто, а другой редко, простое число исходов не показывает, насколько неожиданным будет сообщение. В таком случае неопределённость зависит не только от количества вариантов, поэтому формулу i = log₂ N нельзя применять без дополнительных условий.

Связь между количеством битов и числом вариантов можно записать наоборот: N = 2ᶦ. Это означает, что по известному количеству информации можно узнать, сколько равновероятных исходов различает сообщение. Например, 4 бита дают 2⁴ = 16 вариантов, потому что каждый бит последовательно удваивает число комбинаций.

Количество информации при выборе равновероятного варианта

Чтобы пользоваться таблицей, найдите число равновероятных вариантов N и прочитайте соответствующее значение i. Проверить результат можно через формулу i = log₂ N или через равенство N = 2ᶦ. В строках таблицы число вариантов каждый раз удваивается, поэтому количество информации увеличивается на один бит.

Разбор задач

Задача 1

При подбрасывании монеты возможны два равновероятных исхода. Сообщение сообщает, какая сторона выпала. Требуется определить количество информации в таком сообщении.

1. Записываем число вариантов: N = 2.
2. Применяем формулу Хартли: i = log₂ 2.
3. Вычисляем логарифм: i = 1.

Ответ: сообщение несёт 1 бит информации. Это соответствует определению бита как выбора одного из двух равновероятных вариантов.

Задача 2

На столе лежит одна из восьми одинаково возможных карточек. Сообщение должно однозначно указать выбранную карточку. Нужно выяснить, сколько информации требуется для такого указания.

1. Определяем число равновероятных исходов: N = 8.
2. Подставляем его в формулу: i = log₂ 8.
3. Представляем 8 как степень двойки: 8 = 2³, поэтому i = 3.

Ответ: для однозначного указания карточки нужно 3 бита информации. Три двоичных выбора дают 2³ = 8 различных комбинаций.

Задача 3

Сообщение о результате выбора содержит 6 бит информации. Все исходы считаются равновероятными. Требуется определить, сколько вариантов можно различить.

1. Используем обратную формулу: N = 2ᶦ.
2. Подставляем i = 6: N = 2⁶.
3. Вычисляем степень двойки: N = 64 и проверяем, что результат целый.

Ответ: сообщение позволяет различить 64 равновероятных варианта. Обратная проверка даёт log₂ 64 = 6 бит.

Типичные ошибки

Зависимость только от длины сообщения. Ошибка возникает, когда количество символов принимают за количество информации. В содержательном подходе нужно спросить, насколько сообщение уменьшило неопределённость, а не просто посчитать его знаки.

Применение формулы к разным вероятностям. Формулу i = log₂ N используют только для равновероятных исходов. Перед вычислением проверьте, одинаково ли возможны все варианты; если нет, одного значения N недостаточно.

Путаница между N и i. Число вариантов N — это количество исходов, а i — количество информации в битах. Самопроверка проста: N должно быть числом вариантов, а результат формулы — числом битов.

Неверное основание логарифма. Логарифм по основанию 10 или запись без основания меняет ответ. В этой теме основание всегда 2, поэтому следует проверять формулу i = log₂ N и связь N = 2ᶦ.

Связь с другими темами

Для этой темы нужны знания о степенях числа 2 и понимание логарифма по основанию 2. Степени помогают быстро находить результат, а логарифм показывает, сколько удвоений соответствует заданному числу вариантов.

Понятие бита и связь количества информации с числом вариантов пригодятся при изучении алфавитного подхода и кодирования сообщений. Там двоичные разряды также используются для различения символов и записи данных.

Что запомнить

• Информация уменьшает неопределённость знаний.
• Один бит соответствует выбору между двумя равновероятными вариантами.
• Формула Хартли применима к равновероятным исходам.
• Количество информации вычисляют по формуле i = log₂ N.
• Число различимых вариантов связано с количеством битов равенством N = 2ᶦ.
• Количество информации измеряется в битах.