§ 28. Еще раз об измерении количества информации

Определения и обозначения

Количество информации в сообщении – это мера уменьшения неопределённости, получаемая при получении этого сообщения. Простыми словами, это то, насколько неожиданным оказалось сообщение. Чем больше у нас было вариантов, и чем менее вероятным оказалось сообщение, тем больше информации оно несёт. Эта мера позволяет количественно оценить ценность информации.

Логарифм по основанию 2 – математическая функция, обратная к возведению в степень 2. Она используется для измерения количества информации в битах, поскольку позволяет связать вероятность события и количество информации логарифмической зависимостью. Эта функция важна для преобразования вероятностей в информационные единицы.

Бит – это единица измерения информации, равная количеству информации, которое содержится в сообщении, состоящем из двух равновероятных событий. Бит является базовой единицей информации в компьютерных системах. Например, результат подбрасывания монеты (орел или решка) несёт 1 бит информации.

Как это устроено

Нельзя измерить количество информации линейной функцией от вероятности, потому что это привело бы к непрактичным результатам. Например, увеличение вероятности события должно уменьшать количество информации, что не достигается линейной функцией. Логарифм, напротив, позволяет отразить эти свойства: чем больше вероятность, тем меньше значение логарифма, и наоборот. Более того, логарифм учитывает экспоненциальный рост числа возможных событий, что важно при оценке информации.

Когда у нас есть конечное число равновероятных событий, количество информации для одного события рассчитывается по формуле: I = -log₂(1/n) = log₂(n), где n – количество событий. Эта формула показывает, что количество информации прямо пропорционально логарифму числа событий. Важно понимать, что это справедливо только для равновероятных событий, когда каждое событие имеет одинаковую вероятность наступления.

Если события не равновероятны, то для вычисления средней информационной ёмкости сообщения необходимо использовать формулу: I = - Σ pᵢ * log₂(pᵢ), где pᵢ – вероятность i-го события. Эта формула представляет собой средневзвешенное значение количества информации, где вес каждого события равен его вероятности. Такой подход позволяет оценить общее количество информации, которое несёт серия событий с разными вероятностями.

Использование логарифма по основанию 2 приводит к измерению информации в битах, поскольку основание 2 связано с двоичной системой счисления, использующейся в компьютерах. Бит – это минимальная единица информации, соответствующая ответу на вопрос, требующий выбора между двумя равновероятными вариантами. Это удобная единица, поскольку она позволяет выражать информацию в терминах, понятных для цифровых устройств.

Между количеством информации и вероятностью существует обратная зависимость: чем меньше вероятность события, тем больше информации оно несёт. Это очевидно, поскольку маловероятное событие более неожиданно и, следовательно, более информативно. Представьте, что вы услышали новость о том, что выпал фиолетовый снег. Это событие крайне маловероятно и, следовательно, несёт в себе огромное количество информации.

Количество информации, содержащееся в сообщении, связано с общим количеством возможных сообщений. Чем больше возможных сообщений, тем больше информации несёт конкретное сообщение, указывающее на одно из них. Если есть всего два возможных сообщения, количество информации будет небольшим. Если же их миллион, то получение информации о конкретном сообщении будет представлять большую ценность.

Сравнение количества информации для нескольких событий

Эта таблица демонстрирует, что для равновероятных событий количество информации прямо пропорционально их вероятности. Посмотрите, как изменяется количество информации при различных шансах наступления события.

Разбор задач

Задача 1: Имеются три лампочки, каждая из которых может быть включена или выключена. Сколько информации несёт сообщение о состоянии этих лампочек?

1. Определим количество возможных состояний системы: каждая лампочка имеет два состояния (включена или выключена), поэтому общее число состояний равно 2 * 2 * 2 = 8.
2. Рассчитаем количество информации: I = log₂(8) = 3 бита.

Ответ: Сообщение о состоянии трёх лампочек несёт 3 бита информации.

Задача 2: При передаче сообщения по каналу связи возможно появление ошибок с вероятностью 0.1. Какова средняя информационная ёмкость сообщения?

1. Определим вероятность корректной передачи сообщения: 1 - 0.1 = 0.9.
2. Рассчитаем количество информации о правильной передаче сообщения: I₁ = -log₂(0.9) ≈ 0.152 бита.
3. Рассчитаем количество информации о появлении ошибки: I₂ = -log₂(0.1) ≈ 3.322 бита.
4. Определим среднюю информационную ёмкость: I = 0.9 * I₁ + 0.1 * I₂ ≈ 0.9 * 0.152 + 0.1 * 3.322 ≈ 0.49 бита.

Ответ: Средняя информационная ёмкость сообщения составляет примерно 0.49 бита.

Задача 3: Событие A произойдет с вероятностью 0.8, а событие B с вероятностью 0.3. Какое событие несет больше информации?

1. Рассчитаем количество информации для события A: I_A = -log₂(0.8) ≈ 0.322 бита.
2. Рассчитаем количество информации для события B: I_B = -log₂(0.3) ≈ 1.737 бита.

Ответ: Событие B несёт больше информации, чем событие A.

Типичные ошибки

Использование натурального логарифма вместо логарифма по основанию 2 – одна из самых распространённых ошибок. При использовании натурального логарифма результат измеряется в натах, а не в битах. Люди часто забывают, что для измерения информации в битах нужно использовать специальное основание логарифма. Чтобы избежать этой ошибки, всегда проверяйте основание логарифма в ваших расчётах.

Неправильное понимание связи между вероятностью и количеством информации приводит к утверждению, что чем больше вероятность события, тем больше информации оно несёт. Это неверно. Чем выше вероятность, тем меньше информации несёт событие. Помните, что информация связана с неожиданностью.

Забывание о логарифмической природе зависимости между количеством информации и вероятностью может привести к попыткам представить эту зависимость линейно. Использование линейной функции вместо логарифмической приведёт к неверным результатам. Логарифмическая зависимость необходима для корректного отражения нелинейной связи между вероятностью и информативностью.

Неверный подсчет количества возможных равновероятных событий приводит к ошибкам в расчете количества информации. Будьте внимательны, чтобы точно определить все возможные состояния системы.

Связь с другими темами

Теория вероятностей: Понимание вероятности и равновероятных событий является базой для понимания количества информации. Расчёт количества информации напрямую зависит от знания вероятностей.

Кодирование информации: Знания о количестве информации используются при разработке эффективных кодов. Оптимальное кодирование стремится минимизировать количество используемых символов для представления информации, основываясь на знании вероятностей символов.

Что запомнить

• Количество информации измеряет уменьшение неопределённости.
• Чем меньше вероятность события, тем больше информации оно несёт.
• Единицей измерения информации является бит.
• Количество информации для одного события рассчитывается как -log₂(p).
• Для последовательности событий количество информации – сумма количеств информации для каждого события.
• Логарифм по основанию 2 выбирается для удобства представления информации в двоичной системе.