§ 25. Анализ текста на естественном языке

Определения и обозначения

Естественный язык — язык общения людей, правила которого сложились и продолжают развиваться в употреблении. В отличие от формального языка, например языка программирования, он допускает исключения, разные варианты выражения мысли и неоднозначность. Это объясняет, почему компьютеру недостаточно просто проверить текст по строгому набору правил.

Корпус текстов — большая упорядоченная коллекция текстов, предназначенная для компьютерного анализа. В корпусе могут быть разметка — дополнительные сведения о словах, предложениях или типе текста — и средства поиска. Разметка помогает программе находить нужные примеры, а поиск позволяет быстро отбирать материалы для анализа или обучения модели.

Токенизация — разделение текста на элементы, называемые токенами: слова, знаки препинания или другие фрагменты. Например, в строке «Привет, мир!» запятая и восклицательный знак могут стать отдельными токенами. В сокращениях, датах и составных выражениях границы не всегда очевидны, поэтому способ деления выбирают с учётом задачи.

Лемматизация — приведение словоформы к начальной форме, или лемме. Формы «книгой», «книги» и «книгам» связываются с леммой «книга», хотя окончания у них разные. Это нужно, чтобы программа могла считать их формами одного слова, а не тремя независимыми единицами.

Как это устроено

Людям обычно легко понять слово по ситуации, но компьютер не располагает человеческим опытом. Одно слово может иметь несколько значений, а одна мысль — выражаться разными формами слова. Значение также зависит от соседних слов и их порядка: если убрать контекст, фраза может стать непонятной или получить неверное толкование. Поэтому программа оценивает не только отдельные слова, но и связи между элементами текста.

Перед анализом текст подготавливают, потому что случайные символы и разное оформление мешают сопоставлять фрагменты. Сначала могут удалить лишние пробелы и технические элементы, затем разделить текст на предложения и токены. Иногда символы приводят к единому виду, например заменяют разные варианты кавычек одним. Объём подготовки зависит от задачи: для поиска словоизменительные формы могут быть важны, а для тематической классификации часть оформления можно не учитывать.

Одной токенизации недостаточно, если нужно сопоставить разные формы одного слова. Например, запрос с начальной формой может не найти все употребления в падежах, если программа рассматривает каждую форму отдельно. Лемматизация объединяет такие варианты, но и она не объясняет, какую роль слово играет в предложении. Для этого учитывают грамматические признаки — например, часть речи и форму — и контекст, чтобы различить похожие написания или значения.

Закономерности в тексте компьютер находит с помощью правил, словарей и статистических моделей. Правило задаёт условие обработки, словарь содержит известные слова и сведения о них, а модель оценивает варианты на основе примеров. Такие примеры часто берут из корпуса, где тексты могут быть размечены людьми. Чем лучше материал корпуса соответствует задаче, тем полезнее выводы модели; незнакомые темы и редкие выражения могут снизить точность.

Подготовленный текст можно использовать для разных практических задач. Классификатор распределяет сообщения по темам или определяет, положительный отзыв или отрицательный; поиск помогает находить нужные сведения, а проверка орфографии — замечать возможные ошибки. Сходные методы применяются при автоматическом переводе. Во всех этих случаях программа не просто «понимает» текст как человек: она обрабатывает данные по правилам или оценивает вероятные варианты, поэтому результат стоит проверять.

Этапы компьютерной обработки текста

Таблица показывает типичную последовательность: каждый этап готовит данные для следующего, хотя конкретная задача может не требовать всех шагов. Например, для подсчёта знаков препинания лемматизация не нужна. Используйте столбец «Результат», чтобы проверить, какие данные получит программа перед переходом к следующему этапу.

Разбор задач

Задача 1. Разделить предложение «Привет, мир!» на токены и объяснить, почему нельзя терять запятую и восклицательный знак. Токенизируем знаки препинания отдельно от слов, чтобы сохранить структуру сообщения. Это важно, поскольку запятая обозначает границу между обращением и остальной частью фразы, а восклицательный знак передаёт тип интонации.

1. Находим слова: «Привет» и «мир».
2. Выделяем запятую и восклицательный знак как отдельные элементы.
3. Записываем последовательность токенов: «Привет» | «,» | «мир» | «!».

Ответ: получаются четыре токена; знаки препинания сохраняются, потому что могут быть нужны для разбора структуры и выразительности фразы. Конкретный анализатор может использовать и другие правила, но их следует задавать заранее.

Задача 2. Сгруппировать формы «книгой», «книги», «книгам» по начальной форме. Для этого нужно определить лемму, а не просто отбросить одинаковое число букв с конца. Окончания у слов различаются, а в других примерах механическое отсечение может повредить основу или привести к несуществующей форме.

1. Распознаём, что все три формы относятся к существительному «книга».
2. Находим начальную форму — именительный падеж единственного числа: «книга».
3. Связываем каждую исходную форму с одной леммой.

Ответ: «книгой» → «книга», «книги» → «книга», «книгам» → «книга». Лемматизация опирается на свойства слова и грамматический разбор, а не на одинаковую операцию удаления окончания.

Задача 3. Предложить способ автоматически определить, положительный или отрицательный отзыв перед нами, и проверить его на нескольких примерах. Это задача классификации: каждому тексту нужно присвоить одну из двух категорий. Проверка на разных примерах нужна, чтобы выяснить, не принимает ли программа случайные слова за надёжный признак.

1. Собираем примеры отзывов и отмечаем для каждого правильную категорию: «положительный» или «отрицательный».
2. Выбираем признаки или модель. Простой вариант — учитывать слова с положительной и отрицательной окраской; более сложный — обучить статистическую модель на размеченных примерах.
3. Проверяем модель на отзывах, которых она не использовала при обучении, и сравниваем ответы с известными метками.
4. Разбираем ошибки: например, учитываем отрицание и иронию, при которых отдельное слово может не передавать общий смысл.

Ответ: можно применить классификатор тональности и оценить его на нескольких новых отзывах. Если отзыв «Отлично, снова всё сломалось» назван положительным только из-за слова «отлично», значит, выбранных признаков недостаточно и нужно учитывать контекст.

Типичные ошибки

Считать, что пробелы всегда однозначно разделяют слова, — ошибка: рядом со словом могут стоять знаки препинания, а сокращения и составные выражения требуют отдельных правил. Её допускают, потому что в простых предложениях пробелов часто хватает. Проверка: посмотрите, как обработаны «т. е.», даты и запятые, и убедитесь, что значимые элементы не склеились с соседними словами.

Лемматизацию иногда путают с удалением окончаний, хотя механическое отсечение не определяет начальную форму и может исказить слово. Такой способ кажется удобным, потому что формы одного слова часто похожи на письме. Проверка: сравните результат с правильной начальной формой и убедитесь, что он является реальным словом, а не случайно обрезанным фрагментом.

Приписывать слову одно значение вне контекста — значит игнорировать многозначность и рисковать ошибкой в анализе смысла или тональности. Это происходит, когда ориентируются только на словарь или отдельные «положительные» и «отрицательные» слова. Проверка: прочитайте соседние слова и выясните, меняют ли они значение, например из-за отрицания или иронии.

Считать компьютерный результат безошибочным тоже неверно: на точность влияют данные, метод и сходство новых текстов с примерами. Ошибку допускают, когда принимают автоматический ответ за доказанный факт. Проверка: сопоставьте прогноз с несколькими текстами, понятными человеку, и отдельно изучите случаи, где модель ошиблась.

Связь с другими темами

Для работы с текстом полезно знать, как компьютер представляет символы: кодирование задаёт их числовые значения, а строки позволяют хранить и обрабатывать последовательности символов. Базовые знания об алгоритмах и таблицах данных помогают понять порядок обработки и устройство корпуса. Представление о вероятностях объясняет, как статистическая модель выбирает наиболее подходящий вариант, но не гарантирует правильный ответ. Эти основы пригодятся при изучении искусственного интеллекта и машинного обучения, а также поисковых систем и автоматического перевода.

Что запомнить

• Естественный язык неоднозначен, а смысл зависит от контекста.
• Токенизация делит текст на элементы, которые компьютер может обрабатывать.
• Лемматизация связывает разные словоформы с начальной формой.
• Корпус — это коллекция текстов для анализа и обучения моделей.
• Для анализа текста применяют правила, словари и статистические модели.
• Качество результата зависит от данных и выбранного метода.