1.2.2. Содержательный подход к измерению информации

Определения и обозначения

Избыточность информации – это понятие, которое показывает, насколько полученная информация уменьшает неопределённость в отношении некоторого события. Проще говоря, чем больше мы узнаём о чём-то неизвестном, тем меньше у нас остаётся сомнений, и тем больше избыточность информации. Она позволяет принимать более обоснованные решения.

Элементарная информация – это минимальное количество информации, которое можно получить от одного события, имеющего два равновероятных исхода. Представьте себе подбрасывание монеты: мы заранее не знаем, что выпадет – орёл или решка. Когда мы узнаём результат, мы получаем одну элементарную единицу информации.

Логарифм по основанию 2 – это математическая функция, используемая для измерения информации в битах. Основание 2 выбрано, потому что компьютер работает в двоичной системе счисления, где информация кодируется с помощью нулей и единиц. Логарифм по основанию 2 позволяет удобно количественно оценивать количество информации, связанное с вероятностью события.

Как это устроено

В отличие от математического подхода, где мы считаем просто количество данных, содержательный подход оценивает, насколько полученная информация полезна для конкретного человека. Ценность информации зависит от того, насколько она уменьшает нашу неуверенность в каком-то вопросе. Например, новость о выигрыше в лотерею будет очень ценна для участвовавшего в ней человека, а новость о дожде в пустыне - не очень.

Элементарная информация является базовой единицей измерения. Она возникает, когда мы получаем ответ на вопрос с двумя равновероятными вариантами. Например, ответ на вопрос «Является ли число чётным?» даёт нам одну элементарную информацию, если мы ничего заранее о числе не знали. Такая информация важна, потому что она позволяет нам сделать выбор и действовать дальше.

Единица измерения информации – бит – тесно связана с вероятностью события. Чем ниже вероятность события, тем больше информации мы получаем, узнав о его наступлении. Формула I = -log₂(p) устанавливает эту связь: если вероятность p близка к нулю (редкое событие), то I – большое число, и наоборот. Поэтому редкое и неожиданное событие даёт нам больше знаний, чем ожидаемое.

Важно понимать, что количество информации о событии не всегда совпадает с его ценностью. Например, информация о том, что Солнце взошло сегодня на востоке, имеет очень низкую ценность, хотя и содержит в себе информацию. Ценность информации определяется не только её количеством (в битах), но и контекстом, знаниями получателя и его ожиданиями.

Таким образом, содержательный подход к измерению информации рассматривает информацию как инструмент для уменьшения неопределённости для конкретного человека. Он учитывает субъективные факторы, такие как знания, опыт и ожидания, что делает его более гибким и практичным, чем математический подход.

Сравнение математического и содержательного подходов к измерению информации

Эту таблицу можно использовать, чтобы быстро понять основные различия между двумя подходами. Она наглядно показывает, что математический подход фокусируется на объективном измерении количества информации, а содержательный - на её субъективной ценности.

Разбор задач

Задача 1: Определите количество информации, полученное при подбрасывании игральной кости, если выпало число 6.

1. Найдем вероятность выпадения числа 6. Так как кость шестигранная и все грани равновероятны, вероятность выпадения любого числа равна 1/6.
2. Применим формулу I = -log₂(p), где p = 1/6.
3. I = -log₂(1/6) ≈ 2.58 бита.

Ответ: Количество информации, полученное при выпадении числа 6, составляет примерно 2.58 бита.

Задача 2: Сравните количество информации, которое несет новость о выигрыше в лотерею и новость о том, что завтра будет солнце.

1. Оценим вероятности событий. Вероятность выигрыша в лотерею очень мала, а вероятность того, что завтра будет солнце, довольно высока (в большинстве мест).
2. Вспомним, что количество информации обратно пропорционально вероятности.
3. Сделаем вывод: новость о выигрыше в лотерею несет гораздо больше информации, чем новость о солнечном завтра.

Ответ: Новость о выигрыше в лотерею содержит больше информации, поскольку это событие гораздо менее вероятно, чем солнечный день.

Задача 3: Объясните, почему один и тот же факт может иметь разную ценность для разных людей.

1. Подумаем о контексте. Например, сообщение о падении акций компании будет очень ценно для инвестора, но совершенно бесполезно для человека, далекого от финансов.
2. Учтем знания получателя. Человек, разбирающийся в истории, получит больше информации из сообщения о раскопках древнего города, чем тот, кто не интересуется историей.
3. Помним об ожиданиях. Неожиданная новость будет более ценной, чем ожидаемая.

Ответ: Ценность информации зависит от личного контекста, знаний и ожиданий получателя.

Типичные ошибки

Ошибка 1: Смешение понятий объема и ценности информации. Многие люди думают, что чем больше информации, тем она ценнее. Это не всегда так. Важно помнить, что большая часть информации может быть ненужной или бесполезной.

Ошибка 2: Использование математической теории информации для оценки ценности информации для конкретного человека. Математический подход дает лишь количественную оценку, но не учитывает субъективные факторы.

Ошибка 3: Оценка вероятности события неверно. Некорректная оценка вероятности приводит к неверному вычислению количества информации. Важно точно знать или оценивать вероятность наступления события.

Ошибка 4: Игнорирование субъективности информации. Иногда люди забывают, что один и тот же факт может быть важным для одних и совершенно неинтересным для других. Всегда учитывайте контекст и особенности получателя информации.

Связь с другими темами

Теория вероятностей: Вычисление вероятностей событий – это основа для определения объема информации. Без знания вероятности мы не сможем оценить, сколько информации мы получаем, узнав о наступлении события.

Принятие решений: Содержательный подход к информации играет ключевую роль в процессе принятия решений. Чтобы выбрать наилучший вариант, необходимо оценить ценность информации, необходимой для каждого из них.

Что запомнить

• Информация измеряется в битах.
• Объем информации обратно пропорционален вероятности события.
• Содержательная ценность информации зависит от получателя.
• Математический подход измеряет количество информации, содержательный – ценность.
• Чем менее вероятно событие, тем больше информации мы получаем, узнав о его наступлении.
• Избыточность информации - это степень уменьшения неопределенности.
• Содержательный подход учитывает контекст, знания и ожидания получателя.