"Информатика (базовый и углублённый уровень)", Гейн А.Г., Ливчак А.Б., Сенокосов А.И. и др.
В информатике информация – это не просто данные, а мера уменьшения неопределенности. Чтобы эту неопределенность количественно оценить, нужна единица измерения. Такой единицей является бит, определяемый как количество информации, получаемое при ответе на вопрос с двумя равновероятными вариантами. Параграф посвящен принципам измерения количества информации и ее связи с вероятностью.
Текст подготовлен нейронной сетью по теме параграфа и не заменяет учебник — важные факты и формулировки сверяйте с ним.
Информация – это сведения об окружающем мире и протекающих в нем процессах, которые уменьшают степень неопределенности. Представьте, что вы не знаете, будет ли завтра дождь. Получение прогноза погоды – это получение информации, которая уменьшает вашу неопределенность. Информация нужна для принятия решений и понимания происходящего.
Единица измерения информации (бит) – это минимальное количество информации, которое может быть получено в результате ответа на вопрос с двумя равновероятными альтернативами. Это базовый кирпичик информации. Если вы угадываете, орел или решка выпадет при подбрасывании монеты, то получение информации о результате дает вам 1 бит.
Логарифм по основанию 2 – это функция, обратная показательной функции с основанием 2. Она используется для вычисления количества информации, поскольку позволяет выразить степень уменьшения неопределенности в битах. В информатике это основа для измерения информации, поскольку она отражает двоичную природу компьютерных данных.
Количество информации об элементе – это мера уменьшения неопределенности при получении сообщения об этом элементе. Иными словами, это количество битов, необходимых для кодирования этого элемента. Чем менее вероятен элемент, тем больше информации мы получаем, узнав о его появлении.
Неопределенность – это основа возникновения информации. Если мы уже всё знаем, то никакой новой информации не возникает. Представьте себе детектив, который расследует преступление. Каждая новая улика уменьшает неопределенность и дает ему новую информацию. Чем больше улик, тем меньше остается неясностей.
Монета – простой пример для понимания концепции бита. До подбрасывания мы имеем 50% вероятность выпадения орла и 50% вероятность выпадения решки. Это максимальная неопределенность. После подбрасывания мы узнаем результат, и неопределенность исчезает. Это и есть 1 бит информации – разрешение неопределенности между двумя равновероятными событиями.
Когда событий больше двух и у них разная вероятность, нужна более сложная формула. Формула для вычисления количества информации I для события с вероятностью P: I = -log2(P). Минус в формуле нужен, чтобы количество информации всегда было положительным, а логарифм по основанию 2 позволяет выразить информацию в битах.
Чем меньше вероятность события, тем больше информации мы получаем, узнав, что оно произошло. Это связано с тем, что маловероятные события подразумевают больше неопределенности. Например, если вы ожидаете, что всегда будет солнечно, и вдруг идет дождь, то это приносит больше информации, чем если бы шел дождь в пасмурный день.
Важно понимать, что количество информации измеряет изменение знания для конкретного наблюдателя. Для человека, который ничего не знает о теме, новое сообщение будет нести больше информации, чем для эксперта в этой области.
| Вероятность P | Количество информации I (в битах) | Пример |
|---|---|---|
| 1 (событие достоверно) | 0 | Всегда идет дождь в этом месте |
| 0.5 (равновероятные) | 1 | Подбрасывание монеты |
| 0.25 | 2 | Выпал конкретный костяшка при броске двух игральных костей |
| 0.125 | 3.7 | Какой-то конкретный исход броска трёх игральных костей |
Эта таблица демонстрирует, как количество информации возрастает с уменьшением вероятности события. Чем менее предсказуемо событие, тем больше информации мы получаем, узнав, что оно произошло.
Задача 1: Имеется три лампочки, включенных независимо друг от друга. Какое количество информации даёт сообщение о том, что включена только одна лампочка?
Ответ: Сообщение о том, что включена только одна лампочка, дает примерно 1.415 бит информации.
Задача 2: Игральный кубик брошен один раз. Сколько информации несёт сообщение о том, что выпало число 5?
Ответ: Сообщение о выпадении числа 5 несет примерно 2.585 бит информации.
Использование десятичного логарифма: Многие ошибочно используют log10 вместо log2. Это приводит к неправильному результату, поскольку количество информации измеряется в битах, а не в каких-либо других единицах. Всегда убедитесь, что вы используете логарифм по основанию 2.
Неправильная оценка вероятности: Если вы неверно оцените вероятность события, то и количество информации будет рассчитано неверно. Важно тщательно проанализировать все возможные исходы и правильно определить вероятность интересующего вас события.
Забывание о битах: Не забывайте, что количество информации измеряется в битах. Это базовый факт, который легко упустить из виду. Всегда указывайте единицу измерения при ответе на задачу.
Применение формулы к известному факту: Формула информации применяется к новым сообщениям, которые уменьшают неопределенность. Если вы знаете факт, то информации как таковой не возникает.
Теория вероятностей: Расчет количества информации напрямую зависит от знания вероятности различных событий. Без понимания вероятности невозможно определить, сколько информации несёт то или иное сообщение.
Теория кодирования: Количество информации является основой для эффективного кодирования данных. Чем меньше информации несет символ, тем более коротким кодом его можно закодировать. Это позволяет уменьшить размер файлов и оптимизировать передачу данных.
Чем информация отличается от данных?
Данные – это сырые факты и цифры, которые сами по себе не имеют смысла. Информация – это обработанные, организованные и представленные в контексте данные, которые уменьшают неопределенность и несут знание. Данные становятся информацией, когда они интерпретируются.
Почему количество информации измеряется в битах, а не, например, в байтах?
Бит – это фундаментальная единица измерения информации, представляющая собой минимальное количество информации. Байт же – это составная единица, состоящая из 8 бит. Использование битов позволяет точно измерить количество информации, полученное при каждом конкретном событии.
Как используется понятие информации в компьютерных науках?
Понятие информации лежит в основе многих областей компьютерных наук, таких как кодирование данных, сжатие информации, теория надежности, машинное обучение и искусственный интеллект. Оно позволяет оценивать эффективность алгоритмов и разрабатывать оптимальные способы хранения и передачи данных.
Как вероятность влияет на количество получаемой информации?
Количество информации обратно пропорционально вероятности события. Чем выше вероятность события, тем меньше информации мы получаем, узнав, что оно произошло. И наоборот, чем ниже вероятность, тем больше информации несет получение сообщения о нем.
Может ли информация быть отрицательной?
В теории информации, количество информации всегда является неотрицательным числом. Однако, в некоторых контекстах, например, в статистической физике, понятие энтропии (близкое к понятию информации) может быть отрицательным, но это другое применение термина.
§ 18. Измерение количества информации
