"Информатика (базовый уровень)", Семакин И.Г., Хеннер Е.К., Шеина Т.Ю.
Алфавитный подход позволяет оценить, сколько информации содержит сообщение, если оно записано символами из заранее заданного набора. Для расчёта учитывают мощность алфавита — число возможных символов — и длину сообщения. Вес одного символа находят как log₂N бит, а объём сообщения из K символов — как K·log₂N. Этот способ помогает сравнивать объёмы текстов и разбираться в основах кодирования.
Текст подготовлен нейронной сетью по теме параграфа и не заменяет учебник — важные факты и формулировки сверяйте с ним.
Алфавит — конечное множество символов, используемых для записи сообщений. В него могут входить буквы, цифры, знаки препинания и пробел. Такое определение помогает заранее установить, какие именно знаки разрешено учитывать при оценке сообщения.
Мощность алфавита — количество символов в нём; её обозначают буквой N. Например, если в наборе 32 разных знака, то N = 32. Эта величина нужна, чтобы определить, сколько вариантов может встретиться на каждой позиции сообщения.
Информационный вес символа — количество информации, приходящееся на один символ алфавита. Его обозначают i, вычисляют по формуле i = log₂N и измеряют в битах. Вес показывает, сколько информации в принятой модели сообщает выбор одного знака из всех возможных.
Информационный объём сообщения — количество информации во всём сообщении. Если в нём K символов, то I = K·log₂N, где I — объём, а K — длина сообщения в символах. Эта формула позволяет перейти от веса одного знака к оценке всего текста.
В алфавитном подходе сообщение представляют как цепочку символов, потому что текст можно разбить на отдельные позиции и рассматривать знак на каждой из них. Для каждой позиции важно число допустимых вариантов, а не смысл слова или предложения. Поэтому набор знаков задают заранее и считают каждый используемый символ отдельным элементом. Такой способ даёт удобную оценку, когда нужно сравнить сообщения по длине и набору знаков.
Чтобы определить информацию при выборе одного символа, предполагают, что все N вариантов равновероятны. Тогда выбор из двух вариантов несёт 1 бит, из четырёх — 2 бита: два двоичных выбора различают четыре исхода. Для большего числа вариантов нужно столько двоичных выборов, чтобы их хватило на все N случаев. Поэтому вес символа связан не только с количеством знаков, но и с числом возможных вариантов на одной позиции.
Связь вариантов и двоичных выборов записывается равенством N = 2ⁱ: i бит позволяют различить 2ⁱ исходов. Чтобы выразить i через N, берут логарифм по основанию 2 и получают i = log₂N. Основание 2 выбрано потому, что бит описывает выбор между двумя состояниями, а информация измеряется через такие двоичные различия. Например, при N = 8 имеем 8 = 2³, значит, вес символа равен 3 битам.
В сообщении из K символов информация складывается по позициям: каждый знак в принятой модели вносит i бит. Если позиции рассматриваются независимо и для каждой действует один и тот же алфавит, общий объём равен K·i. Так получается формула I = K·log₂N. Длина текста и мощность алфавита влияют на результат по-разному: первая показывает число позиций, вторая — число вариантов для каждой позиции.
Алфавит нужно составлять по фактически используемым знакам, а не только по буквам. Если текст содержит пробелы, цифры, знаки препинания или прописные буквы, отличающиеся от строчных, их также учитывают как отдельные символы. Это меняет N, а значит, может изменить вес каждого знака. При подсчёте K пробелы и знаки внутри сообщения тоже считаются, если они присутствуют в записи.
| Величина | Обозначение | Что означает | Формула или единица измерения |
|---|---|---|---|
| Алфавит | — | Набор символов для записи сообщения | Конечное множество |
| Мощность алфавита | N | Количество символов в алфавите | Число символов |
| Информационный вес символа | i | Количество информации в одном символе | i = log₂N бит |
| Количество символов в сообщении | K | Длина сообщения | Число символов |
| Информационный объём сообщения | I | Количество информации во всём сообщении | I = K·log₂N бит |
| Связь бита и байта | — | Соотношение единиц измерения | 1 байт = 8 бит |
Сначала определите N по алфавиту, затем найдите вес символа i. Если известна длина сообщения K, умножьте её на i, чтобы получить информационный объём I. При переводе битов в байты разделите число бит на 8.
Задача 1. Алфавит состоит из 16 символов. Сколько бит информации несёт один символ? Нужно определить мощность алфавита и найти количество двоичных выборов, достаточное для различения всех его знаков. Здесь важно не считать длину какого-либо сообщения: вопрос относится к одному символу.
Ответ: один символ несёт 4 бита информации.
Задача 2. Сообщение содержит 120 символов и записано с помощью алфавита мощностью 64. Требуется найти информационный объём. Сначала определим информацию на одну позицию, а затем учтём все 120 позиций. Такой порядок удобен, потому что общая информация складывается из вкладов отдельных символов.
Ответ: информационный объём сообщения равен 720 бит, или 90 байтам, поскольку 720 : 8 = 90.
Задача 3. Сообщение из 50 символов содержит 166,1 бита информации. Определим мощность алфавита. Сначала общий объём нужно распределить на все символы, чтобы получить вес одного, а затем обратить формулу логарифма. Полученное значение следует округлить с учётом точности исходных данных.
Ответ: мощность алфавита приблизительно равна 10 символам. При обратном вычислении округление допустимо, потому что объём в условии дан с точностью до десятых бита.
Мощность алфавита иногда путают с длиной сообщения. N показывает число возможных символов, а K — число знаков в конкретной записи; это разные величины. Проверьте себя: N относится к набору, K можно определить подсчётом символов в сообщении.
Формулу I = log₂N ошибочно применяют ко всему сообщению. На самом деле она даёт вес одного символа, поэтому для K символов результат нужно умножить на K. Проверка проста: при неизменном алфавите увеличение длины вдвое должно увеличить объём вдвое.
При подсчёте алфавита можно учесть только буквы и забыть про пробелы, цифры или знаки препинания. Так происходит, если воспринимать текст только как слова, а не как последовательность знаков. Сверьте набор с реальной записью сообщения и включите каждый используемый тип символа в N.
Биты и байты — не одинаковые единицы: один байт содержит 8 бит. Ошибка возникает, когда число бит просто называют байтами или делят не на тот множитель. Перед переводом подпишите единицу у результата и проверьте соотношение: байтов должно быть в восемь раз меньше, чем бит.
Для расчётов понадобятся степени и логарифмы, понимание двоичной системы счисления и знание единиц измерения информации. Алфавитную оценку используют при изучении кодирования сообщений, оценке объёма файлов и сравнении способов представления данных. Она предполагает равную информативность символов, тогда как вероятностный подход учитывает, что одни знаки встречаются чаще других. Поэтому алфавитная модель удобна для простых оценок, а вероятностная точнее описывает тексты с неодинаковой частотой символов.
Почему информационный вес символа измеряется именно в битах?
Бит — единица информации, связанная с выбором между двумя равновероятными вариантами. Вес символа выражает, сколько таких двоичных выборов нужно, чтобы различить символы алфавита.
Нужно ли считать пробел отдельным символом?
Да, если пробел используется при записи сообщения, его учитывают как отдельный символ. То же относится к цифрам, знакам препинания и другим знакам.
Что делать, если мощность алфавита не является степенью двойки?
Формулу i = log₂N применяют и в этом случае: результат может быть дробным и показывает информационный вес символа в модели равновероятного выбора. Для кодирования каждого символа одинаковым целым числом бит обычно потребуется округлить число бит вверх.
Чем информационный объём сообщения отличается от его размера в байтах?
Информационный объём показывает количество информации и может выражаться в битах. Размер файла в байтах зависит от того, как символы закодированы и сохранены, поэтому эти величины не всегда совпадают напрямую.
Можно ли применять формулу алфавитного подхода к тексту, в котором разные символы встречаются с разной частотой?
Можно оценить объём текста по алфавитному подходу, но этот способ предполагает равную информативность символов. Если частоты появления символов различаются, точнее описывает их информативность вероятностный подход.
§ 3. Измерение информации. Алфавитный подход
