1.3. Количество информации

Определения и обозначения

Количество информации — численная мера сведений, содержащихся в сообщении. Его можно оценивать по тому, насколько сообщение уменьшает неопределённость: чем меньше осталось возможных вариантов, тем больше информации мы получили. Другой способ связан с размером алфавита и количеством бит, необходимым для кодирования его символов. Понятие нужно, чтобы сравнивать сообщения и оценивать, сколько места они займут.

Бит — единица количества информации, соответствующая выбору одного из двух равновозможных вариантов. Например, ответ на вопрос с двумя одинаково вероятными исходами сообщает один бит. Такая единица удобна, потому что двоичная запись компьютера состоит из разрядов, каждый из которых может принимать одно из двух значений. Бит помогает измерять информацию и объём данных.

Информационный вес символа — количество информации, приходящееся на один символ алфавита; его обозначают i. Алфавит — это набор знаков, которые могут использоваться в сообщениях, например буквы или цифры. Вес показывает, сколько бит требуется для кодирования одного знака при равномерном двоичном кодировании. Он нужен, чтобы затем рассчитать объём всего сообщения.

Информационный объём сообщения — количество информации во всём сообщении; его обозначают I. Если каждый символ кодируется одинаковым числом бит, объём зависит от веса одного символа и числа символов K. Поэтому запись I = K · i связывает длину сообщения с информацией в одном знаке. По ней можно оценивать объём данных, не разбирая каждый символ отдельно.

Как это устроено

Представь, что возможны два равноправных исхода, но пока неизвестно, какой произойдёт. После сообщения о результате остаётся только один исход, то есть неопределённость уменьшается вдвое. Такое уменьшение и принимают за один бит информации. Если исходы не равновозможны, простое определение бита через выбор двух одинаково вероятных вариантов напрямую к ним не применяется.

Для выбора из N равновозможных вариантов требуется log₂N бит. Причина в том, что один бит делит число возможных вариантов пополам, а n бит позволяют различить 2ⁿ вариантов. Например, при трёх битах можно закодировать 2³ = 8 разных исходов. Поэтому число бит находят как показатель степени, в которую нужно возвести 2, чтобы получить N.

В алфавите из N символов информационный вес одного символа равен i = log₂N. Каждый символ должен отличаться от остальных, поэтому код должен позволять выбрать один вариант из N. Чем больше алфавит, тем больше вариантов приходится различать и тем длиннее нужен двоичный код. Например, для 16 символов достаточно 4 бит, поскольку 2⁴ = 16.

Если символы кодируются одинаковым числом бит, то для сообщения из K знаков информационный объём равен I = K · i. Сначала выясняют, сколько информации несёт один знак, а затем учитывают все знаки сообщения. Например, если каждый символ занимает 3 бита, то 10 символов несут 10 · 3 = 30 бит. Формула предполагает, что каждый знак кодируется одинаково и сообщение не содержит дополнительных данных о способе кодирования.

В двоичном алфавите есть два символа, поэтому i = log₂2 = 1 бит. Каждый знак такого сообщения сообщает, какой из двух вариантов выбран. Следовательно, сообщение из K двоичных символов содержит K бит. Это относится именно к сообщению, записанному символами двоичного алфавита, а не автоматически к любому тексту на компьютере.

Количество информации в сообщении: основные зависимости

Сначала определяй, что дано: число вариантов или размер алфавита помогает найти вес одного символа, а длина сообщения нужна для общего объёма. Затем подставляй значения в нужную формулу. Если результат получен в битах, для перевода в байты раздели его на 8.

Разбор задач

Задача 1. Какое количество информации несёт сообщение о результате выбора одного из двух равновозможных исходов? Нужно связать условие с определением единицы измерения. В задаче всего два исхода, и до получения сообщения каждый из них возможен одинаково.

1. Определяем число вариантов: N = 2.
2. Для выбора одного из двух равновозможных вариантов требуется один бит.
3. Значит, сообщение о результате выбора несёт 1 бит информации.

Ответ: 1 бит. После получения сообщения известен конкретный исход, поэтому неопределённость между двумя вариантами исчезает. Это и есть смысл бита в данной задаче.

Задача 2. Алфавит содержит 16 символов. Найдём информационный вес одного символа при равномерном двоичном кодировании. Здесь спрашивают не объём сообщения, а информацию в одном знаке, поэтому длина сообщения не нужна. Требуется определить, сколько бит позволяют различать все символы алфавита.

1. Записываем размер алфавита: N = 16.
2. Используем формулу веса символа: i = log₂N.
3. Вычисляем log₂16 = 4, так как 2⁴ = 16.

Ответ: i = 4 бита. Четырёх двоичных разрядов хватает для 16 разных кодов. Следовательно, каждый символ при указанном кодировании занимает 4 бита.

Задача 3. Сообщение состоит из 120 символов алфавита мощностью 32 символа. Найдём его информационный объём в битах и байтах. Сначала вычислим вес одного символа, а затем учтём всю длину сообщения. Для перевода единиц используем соотношение: 1 байт = 8 бит.

1. Размер алфавита N = 32, поэтому i = log₂32 = 5 бит, так как 2⁵ = 32.
2. В сообщении K = 120 символов, значит I = K · i = 120 · 5 = 600 бит.
3. Переводим в байты: 600 ÷ 8 = 75 байт.

Ответ: 600 бит, или 75 байт. Значение 32 использовали для нахождения веса одного символа, а 120 — для вычисления объёма всего сообщения. Если поменять эти величины местами, расчёт будет неверным.

Типичные ошибки

• Путают число символов алфавита с числом бит на символ и считают, что для алфавита из 16 знаков нужно 16 бит. Так происходит, если число вариантов подставляют вместо результата логарифма. Проверь себя: найди степень двойки, равную размеру алфавита; для 16 это 2⁴, значит вес равен 4 битам.

• Подставляют размер алфавита вместо длины сообщения при вычислении общего объёма. N и K отвечают на разные вопросы: N показывает, сколько есть видов символов, а K — сколько знаков записано. Перед расчётом подпиши обе величины и используй I = K · i.

• Находят вес одного знака, но забывают умножить его на количество символов. Тогда получают объём лишь одного символа, хотя в сообщении их несколько. Проверь себя: если K больше 1, общий объём обычно должен быть больше веса одного знака, и формула должна содержать умножение на K.

• Путают биты и байты, например называют 600 бит 600 байтами. Ошибка возникает при переводе единиц или когда число оставляют без названия единицы. Напомни себе, что в одном байте 8 бит: для перевода битов в байты дели на 8, а для обратного перевода умножай на 8.

Связь с другими темами

Для вычислений полезно знать двоичную систему счисления, степени двойки и логарифм по основанию 2: именно они помогают связать число вариантов с количеством бит. Количество информации применяется при оценке объёма файлов и памяти, а также данных, которые передают по сети. Связь между числом вариантов и битами лежит в основе кодирования: двоичные комбинации используют, чтобы представлять, хранить и передавать разные символы и значения.

Что запомнить

• Бит — количество информации, необходимое для выбора одного из двух равновозможных вариантов.
• Для выбора одного из N равновозможных вариантов требуется log₂N бит.
• Информационный вес символа алфавита: i = log₂N.
• Объём сообщения из K символов: I = K · i.
• В двоичном алфавите один символ несёт один бит.
• В одном байте восемь бит.