"Информатика (в 2 частях)", Павлов Д.И., Полежаева О.А., Коробкова Л.Н. и др./ Под ред. Горячева А.В.
Количество информации показывает, насколько сообщение уменьшает неопределённость, то есть число возможных вариантов до получения сведений. Чтобы сравнивать сообщения, нужно учитывать одну и ту же ситуацию, исходные условия и получателя. Один бит соответствует выбору одного из двух равновероятных вариантов. Более длинное сообщение не обязательно информативнее: повторения могут не добавлять новых сведений, а полезность и достоверность отличаются от количества информации.
Текст подготовлен нейронной сетью по теме параграфа и не заменяет учебник — важные факты и формулировки сверяйте с ним.
Неопределённость — число возможных вариантов ситуации до получения сообщения. Например, до броска кубика возможны шесть результатов. Это понятие нужно, чтобы понять, сколько неизвестного устраняет сообщение.
Количество информации — мера того, насколько сообщение уменьшает неопределённость. Если после сообщения из восьми вариантов остался один, неопределённость исчезла. Так можно сравнивать разные сообщения не по длине, а по результату их действия.
Бит — единица количества информации, соответствующая выбору одного из двух равновероятных вариантов. Сообщение о том, что монета выпала орлом, даёт один бит, если заранее возможны орёл и решка. Биты удобны для подсчёта последовательности двоичных выборов.
Информативность сообщения — степень уменьшения неопределённости для конкретного получателя. Одно и то же сообщение может быть новым для одного человека и полностью известным другому. Поэтому информативность зависит не только от события, но и от исходных знаний получателя.
Для корректного сравнения сообщений нужно рассматривать одну и ту же ситуацию, одинаковые исходные условия и одного и того же получателя. Иначе сообщение может казаться более сильным лишь потому, что один человек уже знал ответ, а другой нет. Например, результат жеребьёвки сравнивают при одинаковом числе участников и одинаковой известности правил.
Количество информации зависит не от длины сообщения, а от числа вариантов, между которыми приходилось выбирать. Длинная фраза может содержать повторы, вежливые слова или уже известные факты, поэтому она почти не уменьшит неопределённость. Короткое сообщение, наоборот, может сразу указать один вариант из большого множества.
Сообщение уменьшает неопределённость, когда из нескольких возможных вариантов однозначно указывает на один. До сообщения мы мысленно перебираем допустимые исходы, а после него часть или все исходы отбрасываются. Чем больше вариантов исчезло благодаря новым сведениям, тем большее количество информации получено.
Выбор одного из двух равновероятных вариантов даёт один бит, а последовательность таких выборов описывает более сложные случаи. Четыре варианта можно различить двумя вопросами с ответами «да» или «нет», а восемь — тремя. Поэтому для N равновероятных вариантов, если N является степенью двойки, количество информации равно I = log₂N.
Количество информации, полезность, достоверность и понятность сообщения — разные характеристики. Сообщение может быть точным и понятным, но не помогать решить задачу, если сведения не нужны. И наоборот, очень полезная подсказка может содержать немного информации, если она устраняет лишь небольшую неопределённость.
| Ситуация | Число возможных вариантов до сообщения | Что сообщает сообщение | Количество информации |
|---|---|---|---|
| Выбор одного из двух равновероятных вариантов | 2 | Выбран один вариант | 1 бит |
| Выбор одной грани игрального кубика | 6 | Выпала конкретная грань | log₂6 ≈ 2,58 бита |
| Выбор одного варианта из восьми | 8 | Назван конкретный вариант | 3 бита |
| Указание уже известного варианта | 1 | Сообщено то, что уже известно | 0 бит |
Сначала найдите число возможных вариантов до сообщения, затем определите, сколько из них осталось после сообщения. Для степеней двойки удобно считать биты как число последовательных двоичных выборов. Если число вариантов не равно степени двойки, можно использовать log₂N и получить нецелое среднее количество битов.
Нужно сравнить сообщения о результате подбрасывания монеты и броска игрального кубика. Считаем исходы равновероятными и заранее неизвестными. Важно сравнивать не длину сообщений, а уменьшение неопределённости.
Ответ: сообщение о результате броска кубика содержит больше информации: примерно 2,58 бита против 1 бита, то есть в 2,58 раза больше по принятой мере.
Нужно определить один предмет из восьми вопросами, на которые можно ответить только «да» или «нет». Каждый удачный вопрос должен делить оставшиеся варианты примерно пополам. Так неопределённость уменьшается вдвое после каждого ответа.
Ответ: потребуется 3 вопроса, потому что 8 = 2³, а каждый вопрос даёт один бит информации.
Сравним сообщение, выбирающее один вариант из шестнадцати, с сообщением, выбирающим один вариант из четырёх. Все варианты считаем равновероятными. Представим каждый выбор как последовательность двоичных решений.
Ответ: сообщение о выборе одного варианта из шестнадцати содержит в два раза больше информации, чем сообщение о выборе одного варианта из четырёх.
Считать более длинное сообщение более информативным — ошибка, потому что повторы и известные сведения не уменьшают неопределённость. Её допускают, когда путают объём текста с новизной сведений. Проверьте себя: спросите, сколько возможных вариантов исчезло после сообщения.
Сравнивать сообщения без учёта исходного числа вариантов тоже неправильно. Одинаковая фраза может иметь разную информативность, если в одной ситуации возможны два исхода, а в другой — десять. Перед сравнением запишите варианты до получения сообщения.
Нельзя путать количество информации с её полезностью. Короткое сообщение может быть крайне полезным для решения задачи, но устранить только один небольшой вопрос. Проверьте себя: отдельно оцените уменьшение неопределённости и пользу для цели получателя.
Нельзя забывать о равновероятности вариантов при подсчёте битов. Формула I = log₂N непосредственно описывает равновероятные исходы, а при неравных вероятностях простой подсчёт может дать неверный результат. Уточните условия задачи и не заменяйте вероятность предположением о равенстве.
Для изучения темы нужно знать, что событие имеет несколько возможных исходов, а информацию можно передавать сообщениями. Идея двоичного выбора связана с двоичной системой счисления, кодированием и представлением данных в компьютере. Позже она поможет понять объём файлов, сжатие данных, построение кодов и передачу информации.
Почему длинный текст может содержать меньше информации, чем короткая фраза?
Длина текста не показывает, сколько вариантов он исключает. Длинное сообщение может повторять известные сведения, а короткая фраза иногда однозначно выбирает один вариант из множества.
Почему один правильный ответ иногда содержит больше информации, чем другой?
Ответы могут по-разному уменьшать неопределённость. Если один ответ встречается среди многих равновероятных вариантов и выбирает редкий вариант, он может дать больше информации, чем ответ, который был почти заранее известен.
Как понять, сколько битов нужно для выбора одного варианта?
Если варианты равновероятны и их число равно 2ⁿ, требуется n битов. Например, для восьми вариантов нужно 3 бита, потому что 8 = 2³.
Можно ли сравнивать количество информации в сообщениях о разных событиях?
Можно, если известны исходные условия и число возможных вариантов в каждой ситуации. Сравнивать только длину фраз или их содержание без такого контекста некорректно.
Всегда ли более информативное сообщение полезнее?
Нет. Количество информации показывает уменьшение неопределённости, а полезность зависит от цели получателя. Точное сообщение о неважном событии может быть информативным, но бесполезным.
5. Сравнивая информацию
