"Информатика", Семакин И.Г., Залогова Л.А., Русаков С.В., Шестакова Л.В.
Всякое знание начинается с вопроса и незнания. Когда мы чего-то не знаем, мы испытываем неопределённость. Информация – это то, что уменьшает эту неопределённость. Количество информации показывает, насколько существенно новое знание изменило наше представление о чём-либо. В этом параграфе мы узнаем, как измерять количество информации и как оно связано с вероятностью событий.
Текст подготовлен нейронной сетью по теме параграфа и не заменяет учебник — важные факты и формулировки сверяйте с ним.
Неопределенность знания – это мера того, насколько мы не уверены в чём-то. Чем больше у нас пробелов в знаниях об объекте или явлении, тем выше неопределенность. Эта концепция важна, потому что информация призвана как раз заполнять эти пробелы.
Информация – это то, что уменьшает неопределенность. Когда мы получаем информацию, мы узнаем что-то новое и наши знания расширяются. Например, сообщение о том, что завтра будет дождь, уменьшает неопределенность относительно погоды.
Количество информации – это количественная оценка того, насколько сильно изменились наши знания при получении нового сообщения. Оно измеряется в битах. Один бит – это минимальное количество информации, которое мы можем получить, например, узнав результат подбрасывания монеты.
Событие – это то, что может произойти или не произойти. В информатике события рассматриваются с точки зрения вероятности их наступления. Например, выпадение определенной грани на кубике – это событие, вероятность выпадения каждой грани равна 1/6.
Представьте себе ожидание поезда. Если вы знаете, что поезд прибудет точно в 12:00, неопределенность невелика. Если же поезд может прийти в любое время в течение дня, неопределенность очень велика. Информация о точном времени прибытия поезда (например, “поезд прибудет в 12:00”) резко уменьшает неопределенность и даёт нам полезные знания для планирования.
Бросок монеты – классический пример. До того, как монета упала, есть два возможных исхода: орёл или решка, и каждый исход имеет одинаковую вероятность (0.5). Когда мы узнаем результат, неопределенность исчезает. Мы получаем 1 бит информации, потому что было два равновероятных исхода.
Рассмотрим кубик с 6 гранями. Вероятность выпадения любой конкретной грани – 1/6. Зная это, мы можем сказать, что получение информации о том, какая грань выпала, даёт больше информации, чем результат броска монеты. Это происходит потому, что кубик имеет больше возможных исходов, и, следовательно, изначально была больше неопределенность.
Связь между информацией и вероятностью – ключевая. Редкое событие несёт больше информации, чем часто встречающееся. Например, сообщение о выпадении шести на кубике (вероятность 1/6) несёт больше информации, чем сообщение о выпадении единицы (вероятность 1/6 – они одинаковы в данном случае, но принцип важен).
Формула Шеннона I = -log₂(p) позволяет количественно оценить количество информации. Логарифм по основанию 2 показывает, сколько бит информации несёт событие с вероятностью p. Если p = 1 (событие произойдет точно), то I = 0 (информации нет). Если p = 0.5 (равные вероятности), то I = 1 (1 бит информации).
| Вероятность (p) | Количество информации (I, в битах) | Пример |
|---|---|---|
| 1 | 0 | Событие произойдет точно (нет неопределенности) |
| 0.5 | 1 | Бросок монеты (орел или решка) |
| 0.25 | 2 | Выпадение определенной грани на кубике с 4 гранями |
| 0.1 | 3.32 | Выпадение определенной грани на кубике с 10 гранями |
Эта таблица показывает, что чем меньше вероятность события, тем больше информации оно несёт. Вы можете использовать эту таблицу как справочник при решении задач.
Задача 1: Студент знает, что контрольная работа будет написана либо в понедельник, либо во вторник. Накануне ему сообщили, что контрольная будет во вторник. Сколько информации он получил?
Ответ: Студент получил 1 бит информации.
Задача 2: В колоде 36 карт. Какое количество информации несет сообщение о том, что из колоды вытащена карта пиковой масти?
Ответ: Сообщение о том, что вытащена пиковая карта, несёт 2 бита информации.
Задача 3: В ящике лежат 5 красных и 3 синих шара. Сколько информации несет сообщение о том, что наугад вытащен красный шар?
Ответ: Сообщение о том, что вытащен красный шар, несёт примерно 0.66 бита информации.
Использование количества информации для оценки полезности знания: Важно помнить, что количество информации – это мера уменьшения неопределённости, а не оценка того, насколько полезно это знание для вас. Оно не имеет отношения к ценности информации.
Неправильное применение формулы Шеннона: Ошибка часто возникает из-за неверного вычисления или представления вероятности события. Важно внимательно определять вероятность до применения формулы.
Игнорирование того, что количество информации всегда положительно: Количество информации не может быть отрицательным. Отрицательное значение означает ошибку в расчётах или в представлении вероятности.
Смешение понятий «информация» и «знание»: Информация – это сырые данные, а знание – это результат обработки этих данных и понимания их смысла. Получение информации – это первый шаг к получению знания.
Теория вероятностей: Понимание вероятности событий необходимо для вычисления количества информации. Знание основ теории вероятностей поможет вам правильно определять вероятность наступления различных событий.
Алгоритмы сжатия данных: Понятие количества информации лежит в основе алгоритмов сжатия данных. Эти алгоритмы используют избыточность данных и уменьшают размер файлов, удаляя информацию, которая несёт мало смысла.
Почему количество информации зависит от вероятности события?
Представьте, что вам говорят, что завтра взойдёт солнце – это не несёт никакой новой информации, ведь мы и так это знаем (вероятность почти 1). А вот сообщение о внезапном землетрясении несёт очень много информации, потому что такое событие происходит редко (вероятность мала). Чем меньше вероятность события, тем больше неожиданности и, следовательно, больше информации.
Всегда ли получение новой информации полезно?
Не всегда. Полезность информации – это субъективное понятие. Например, знание о том, что ваш любимый футбольный клуб проиграл, может быть для вас неприятной информацией, хотя она и уменьшает вашу неопределённость относительно результата матча. Количество информации измеряет только меру уменьшения неопределённости, а не её ценность для вас.
В чем разница между информацией и данными?
Данные – это сырые факты, числа, символы, которые еще не имеют смысла. Информация – это данные, которые были обработаны и представлены в понятной форме, чтобы уменьшить неопределённость. Например, числа 2, 5, 8 – это данные, а утверждение 'средняя температура за неделю была 5 градусов' – это информация.
Как можно использовать понятие количества информации на практике?
Понятие количества информации применяется в разных областях, например, в теории связи для оценки пропускной способности каналов передачи данных, в криптографии для анализа надёжности шифров и в медицине для диагностики заболеваний. Его также используют при сжатии данных, чтобы эффективно хранить и передавать информацию.
Что такое бит и как он связан с количеством информации?
Бит – это основная единица измерения информации. Один бит информации получается, когда мы устраняем неопределенность между двумя равновероятными событиями, например, при подбрасывании монеты. Чем больше бит, тем больше неопределённости мы устранили и тем больше информации мы получили.
1.1. Неопределенность знания и количество информации
