§ 13. Кодовые таблицы

Определения и обозначения

Кодовая таблица — соответствие между символами текста и числовыми кодами, используемыми компьютером. Она позволяет заменить буквы и знаки числами, с которыми техника умеет работать. По такой таблице программа может выполнить обратное преобразование и показать сохранённый текст.

Код символа — число, однозначно обозначающее конкретный символ в выбранной кодировке. Например, в ASCII латинская «A» имеет код 65. Указание кодировки обязательно, потому что то же число в другой таблице может обозначать иной знак.

Кодировка — способ представления символов и правил их преобразования в двоичный вид. Она определяет, сколько байтов занимает код и как программа должна читать последовательность нулей и единиц. Это нужно, чтобы разные устройства одинаково сохраняли и передавали текст.

Unicode — международный стандарт кодирования символов разных языков и письменностей. Он стремится назначить отдельные кодовые позиции буквам, цифрам, знакам и специальным символам со всего мира. Благодаря этому один текст можно обрабатывать без набора отдельных таблиц для каждого языка.

Как это устроено

Компьютер работает с электрическими состояниями, которые удобно представить нулями и единицами, а не с изображениями букв. Поэтому символ хранится как число, а число — как двоичная последовательность. Такой подход упрощает операции поиска, копирования, сравнения и передачи текста: машине не нужно распознавать внешний вид каждой буквы.

Кодовая таблица устанавливает пару «символ — код»: например, программе известно, какой знак нужно вывести для числа 65. При чтении байтов программа обращается к таблице и выполняет декодирование, то есть превращает числа обратно в символы. Одна и та же последовательность битов зависит от выбранной кодировки, поскольку разные таблицы по-разному распределяют коды между знаками.

ASCII создавалась для английского текста и содержит 128 позиций: управляющие символы, цифры, знаки препинания, арифметические знаки и латинские буквы в верхнем и нижнем регистрах. Для одного символа достаточно 7 бит, а в памяти часто используют один байт. Русских букв в исходном ASCII не было, поэтому появились расширенные кодировки, в которых свободные значения отводили национальным символам.

KOI8-R, Windows-1251 и другие однобайтные таблицы используют по одному байту на символ, поэтому имеют не более 256 возможных значений. Они отличаются тем, какие знаки помещены в расширенную часть диапазона и под какими номерами расположены русские буквы. Из-за этого файл, сохранённый в KOI8-R, нельзя надёжно читать как Windows-1251: одинаковые байты могут превратиться в разные символы.

Unicode решает проблему множества языков тем, что создаёт единую систему кодовых позиций для разных письменностей. Однако Unicode — это стандарт символов, а не единственный формат файла: UTF-8, UTF-16 и UTF-32 по-разному записывают эти позиции в памяти. UTF-8 особенно удобна для совместимости с ASCII и использует от одного до четырёх байтов в зависимости от символа.

Сравнение основных кодовых таблиц и кодировок

Таблицу следует читать построчно: сначала определить нужную систему, затем сравнить диапазон, набор символов и способ хранения. При расшифровке особенно важны последняя строка и совместимость, поскольку одинаковое число не гарантирует одинаковый знак. Для Unicode нужно дополнительно уточнять конкретный формат записи, например UTF-8.

Разбор задач

Задача 1. Код символа в ASCII

По кодовой таблице ASCII требуется определить десятичный и двоичный код символа «A». Сначала находим именно заглавную латинскую букву, а не похожую русскую «А». Затем переводим найденное десятичное число в двоичную систему.

1. В таблице ASCII символу «A» соответствует число 65.
2. Разлагаем 65 по степеням двойки: 65 = 64 + 1.
3. В разрядах 64, 32, 16, 8, 4, 2, 1 получаем 1, 0, 0, 0, 0, 0, 1, то есть 1000001.
4. Для записи в одном байте добавляем ведущий ноль: 01000001.

Ответ: десятичный код «A» равен 65, двоичный код — 01000001. Ведущий ноль не меняет значение числа, но показывает полную байтовую запись. Такой результат относится именно к ASCII.

Задача 2. Расшифровка кодов Windows-1251

Дана последовательность кодов 207, 160, 188, 160 в Windows-1251. Нужно получить слово, используя не любую знакомую таблицу, а указанную в условии. Смысл каждого числа определяем отдельно, потому что порядок кодов соответствует порядку символов в слове.

1. Находим в Windows-1251 код 207: это «П».
2. Код 160 обозначает «а».
3. Код 188 обозначает «м».
4. Последний код 160 снова даёт «а».
5. Соединяем найденные символы в исходной последовательности.

Ответ: получилось слово «Пама». Проверка выполняется обратным способом: код «П» должен быть 207, а код «а» — 160. Если применить вместо Windows-1251 таблицу ASCII, русские символы найти нельзя.

Задача 3. Сравнение кодировок файла

Один и тот же текст сохранён в KOI8-R, Windows-1251 и UTF-8. Нужно сравнить объём и объяснить искажение текста при неверном выборе кодировки. Рассмотрим текст из русских букв: в однобайтных таблицах каждый такой символ обычно занимает один байт, а в UTF-8 — два байта.

1. Для текста из 100 русских символов KOI8-R потребует примерно 100 байт, если не учитывать служебную информацию.
2. Windows-1251 также займёт примерно 100 байт, потому что это однобайтная кодировка.
3. В UTF-8 те же русские буквы обычно займут около 200 байт, так как каждая представляется двумя байтами.
4. При чтении байтов нужно выбрать исходную таблицу: KOI8-R и Windows-1251 по-разному трактуют значения.

Ответ: для такого текста два однобайтных файла близки по объёму, а UTF-8 обычно больше. «Кракозябры» возникают, когда байты одной таблицы декодируют по правилам другой. Для точного сравнения учитывают также пробелы, латиницу, знаки и возможную служебную информацию.

Типичные ошибки

Ошибка: считать, что каждому символу всегда соответствует один и тот же код. Её допускают, когда запоминают число без названия кодировки и переносят его на все таблицы. Проверка проста: вместе с кодом всегда указывайте систему и сверяйте символ в её таблице.

Ошибка: путать Unicode с конкретным способом хранения, например UTF-8. Причина в том, что в программах эти названия часто встречаются рядом. Проверьте себя вопросом: речь идёт о наборе кодовых позиций или о формате записи в байтах.

Ошибка: расшифровывать русские коды по ASCII. Так происходит, если выбирают первую знакомую таблицу, не читая условие. Сначала определите кодировку данных, а затем ищите каждый код именно в ней.

Ошибка: считать, что один символ всегда занимает один байт. Такое правило подходит не для всех систем и особенно опасно при работе с Unicode. Уточните конкретную кодировку: в UTF-8 размер представления символа может быть от одного до четырёх байтов.

Связь с другими темами

До изучения кодовых таблиц нужно понимать двоичную систему счисления, байт и диапазон значений двоичного кода. Эти знания объясняют, почему один байт даёт 256 вариантов и как число записывается нулями и единицами. Они также связывают код символа с общим представлением информации в компьютере.

Тема пригодится при изучении текстовых файлов, кодирования и передачи данных. Она объясняет, почему размер файла зависит от выбранного формата и почему при обмене текстом появляются «кракозябры». Те же принципы используются при настройке программ и анализе сетевых сообщений.

Что запомнить

• Кодовая таблица связывает символы с числовыми кодами.
• Код символа определяется выбранной кодировкой.
• ASCII содержит основные латинские символы, цифры и знаки препинания.
• Для русских букв применялись разные национальные кодировки.
• Unicode предназначен для единого представления символов разных языков.
• UTF-8 является способом кодирования символов Unicode.
• Неверно выбранная кодировка приводит к искажению текста.