"Информатика (углублённый уровень)", Калинин И.А., Самылкина Н.Н.
Самообучающаяся техническая система меняет своё поведение на основе примеров или опыта взаимодействия со средой. Она нужна там, где невозможно заранее перечислить все правила: например, при распознавании речи или выборе маршрута роботом. Человек задаёт задачу, подготавливает данные и оценивает результат, а система находит закономерности и корректирует работу. Главное — качество примеров и проверка на новых ситуациях.
Текст подготовлен нейронной сетью по теме параграфа и не заменяет учебник — важные факты и формулировки сверяйте с ним.
Самообучающаяся техническая система — система, которая изменяет своё поведение на основе опыта, не требуя от человека заранее задавать все правила решения задачи. Это полезно, когда вариантов входных данных слишком много для полного описания инструкциями. Человек всё равно задаёт цель работы и условия, в которых систему обучают.
Обучение системы — процесс изменения её параметров или правил работы по данным, примерам либо результатам взаимодействия со средой. Параметры — внутренние настройки, от которых зависит, какой результат система выдаст для конкретных входных данных. Благодаря их корректировке поведение можно улучшать без ручного переписывания каждой инструкции.
Обучающая выборка — набор примеров, на которых система выявляет закономерности. В каждом примере есть входные данные, например текст письма; если ответы заданы, к ним добавлена правильная категория, например «спам». Выборка нужна, чтобы система получила опыт, на котором можно настроить её работу.
Обратная связь — информация о результате действия системы, по которой можно оценить и скорректировать её последующую работу. Это может быть указание, верно ли выполнена классификация, или оценка последствий действия робота. Обратная связь нужна, чтобы обучение учитывало не только входные данные, но и качество полученного результата.
Для сложной задачи трудно заранее записать все правила, потому что входные данные могут быть разнообразными и сочетаться по-разному. Например, письма с одной и той же целью могут отличаться словами, форматом и отправителем. Если вручную описать каждую возможную ситуацию, система станет слишком громоздкой и всё равно пропустит новые случаи. Обучение позволяет находить повторяющиеся признаки на примерах, а не перечислять все варианты по отдельности.
Общий цикл начинается с того, что системе предъявляют данные или ситуацию. Она выдаёт результат — например, относит письмо к категории или выбирает действие; затем получает оценку результата и корректирует параметры. После этого система снова решает задачу, и цикл может повторяться. Такой порядок полезен потому, что обратная связь показывает, в каком направлении менять работу, вместо того чтобы оставлять первоначальный ответ без проверки.
Качество выборки влияет на то, каким закономерностям система научится. Если в примерах не хватает важных типов ситуаций, система может не распознавать их при работе; ошибочные ответы способны закрепить неверные решения. Нерепрезентативная выборка — та, что плохо отражает реальные условия, — создаёт другой риск: система хорошо работает на представленных примерах, но ошибается на непривычных данных. Поэтому примеры должны быть достаточно точными и разнообразными.
Способы обучения различаются тем, какую информацию получает система. При обучении с учителем вместе с входными данными ей дают правильные ответы, чтобы она могла настраиваться на верный результат. При обучении без учителя готовых ответов нет: система ищет сходства и группы в данных. При обучении с подкреплением она действует в среде и получает оценку последствий, поэтому корректирует выбор действий с учётом того, какие из них оказались полезными.
Проверка на новых данных нужна потому, что система может запомнить обучающие примеры, но не научиться решать задачу в целом. Если оценивать её только на тех же примерах, результат будет выглядеть успешным даже при слабой работе в незнакомой ситуации. Для проверки выделяют данные, которые не участвовали в настройке системы. Если на них качество заметно хуже, возможная причина — переобучение, то есть чрезмерная подстройка под обучающие примеры, либо отличие новых данных от выборки.
| Подход | Что получает система | На чём основана коррекция | Пример задачи |
|---|---|---|---|
| Обучение с учителем | Входные данные и правильные ответы к ним | Сопоставление результата системы с правильным ответом | Определение, является ли письмо спамом |
| Обучение без учителя | Данные без заранее заданных правильных ответов | Поиск сходств, групп и закономерностей в данных | Разделение покупателей на группы по их действиям |
| Обучение с подкреплением | Ситуацию, возможные действия и оценку их последствий | Обратная связь о результатах действий в среде | Выбор маршрута роботом в меняющейся обстановке |
Сначала определите, есть ли у примеров готовые правильные ответы: это поможет отличить обучение с учителем от обучения без учителя. Если система действует в среде и получает оценку последствий, речь идёт об обучении с подкреплением. В последнем столбце приведены типичные задачи, а не единственные возможные применения каждого подхода.
Задача 1. Система получила несколько размеченных примеров писем: «спам» и «не спам». Определите, какие сведения нужны для её обучения. Требуется отделить признаки, по которым система будет принимать решение, от указаний о том, какой ответ считается верным. Это обучение с учителем, поскольку ответы для примеров уже известны.
Определим входные данные: это содержание писем или выделенные из них признаки, например слова и сведения об отправителе. Именно по ним система будет пытаться распознавать новые письма. Одних меток без самих примеров для такой задачи недостаточно.
Для каждого письма потребуется правильный ответ — метка «спам» или «не спам». Система сможет сравнивать свои предположения с этими ответами и корректировать работу. Набор пар «письмо — метка» и образует обучающую выборку.
Ответ: нужны примеры писем как входные данные и правильная категория для каждого из них. Чем точнее и разнообразнее они подобраны, тем полезнее выборка для обучения. Система будет учиться связывать признаки письма с заданной меткой.
Задача 2. После обучения классификатор верно обработал все примеры набора, но часто ошибается на новых письмах. Нужно предложить проверку и возможную причину. Хороший результат на обучающих данных сам по себе не говорит, что система умеет обобщать. Поэтому оценивать её следует на примерах, которые не использовались при настройке.
Разделим данные на обучающую и проверочную части до настройки системы. Первую используем для обучения, вторую оставим для независимой проверки. Так можно сравнить работу на знакомых и новых для системы примерах.
Проверим, различается ли качество на этих частях, а также похожи ли проверочные письма на реальные письма, с которыми система встречается. Если на обучающей части ошибок нет, а на проверочной их много, вероятно переобучение. Если типы писем различаются, причиной может быть нерепрезентативная выборка.
Ответ: оценить систему на отдельной проверочной выборке и сопоставить результаты. Возможные причины ошибок — переобучение или отличие новых писем от тех, на которых систему обучали. Для уточнения причины стоит проверить состав и разнообразие обоих наборов данных.
Задача 3. Робот должен научиться выбирать маршрут в меняющейся обстановке. Опишем, какие данные, действия и оценки понадобятся. Здесь недостаточно один раз записать маршрут, потому что обстановка может измениться. Значит, роботу нужно взаимодействовать со средой и получать сведения о последствиях своих решений.
Определим входные данные: положение робота, препятствия, доступные направления и изменения обстановки. Затем зададим возможные действия, например выбор следующего участка маршрута. Эти сведения позволяют связать решение робота с текущей ситуацией.
После действия робот получает результат: удалось ли продвинуться, сколько времени занял путь, возникло ли столкновение. Заранее заданная оценка должна различать безопасные и неудачные действия. По этой обратной связи система корректирует выбор маршрута и снова проверяет его в изменившейся ситуации.
Ответ: нужны данные об обстановке, набор доступных действий и оценка последствий каждого действия. Робот выбирает маршрут, получает обратную связь и на её основе корректирует поведение. Так организуется обучение с подкреплением.
Ошибка: считать самообучение полной независимостью от человека. Так думают, потому что система меняет поведение сама, без ручного задания каждого решения. Однако ей нужны данные, цель и критерии оценки, а результат необходимо проверять. Проверьте себя вопросом: кто подготовил примеры и определил, какой результат считать успешным?
Ошибка: считать выборку перечнем всех возможных ситуаций. Её часто воспринимают как исчерпывающий набор вариантов, хотя примеры лишь показывают часть условий. Если выборка не отражает будущую работу системы, она может не справиться с новыми случаями. Проверьте, представлены ли в данных разные важные ситуации и похожи ли они на реальные условия.
Ошибка: оценивать систему только по обучающим примерам. Это удобно, потому что ответы на этих примерах уже известны, но они не показывают, умеет ли система работать с новыми данными. Успешное запоминание может скрыть слабое обобщение. Проверка себя — отдельная выборка, которую не использовали для настройки, и сравнение результатов на ней с обучающими.
Ошибка: считать, что система понимает смысл найденной закономерности так же, как человек. Этому способствует то, что ответы системы выглядят осмысленными. На деле она корректирует поведение по данным и заданным критериям, а наличие человеческого понимания из этого не следует. Спросите себя, какое правило оценки направляло обучение и можно ли объяснить результат данными и настройками.
Чтобы разбираться в самообучении, полезно знать общий путь данных в технической системе: получение входа, обработка и выдача результата. Тогда становится понятнее, на каком этапе система использует примеры, а где формирует ответ. Обратная связь показывает, как результат может повлиять на следующую обработку.
Обучение связано с алгоритмами, потому что система выполняет заданный порядок обработки данных, и с моделированием, поскольку её поведение можно описывать и проверять. Статистическая обработка данных помогает искать закономерности и оценивать, насколько надёжен вывод по выборке. Эти связи позволяют понимать не только ответ системы, но и основания для него.
На практике самообучающиеся системы применяют для распознавания изображений и речи, составления рекомендаций и поддержки диагностики. В робототехнике обучение помогает выбирать действия и управлять движением в меняющейся обстановке. Во всех случаях важно учитывать, на каких данных система училась и как проверяли её результаты.
Чем самообучающаяся система отличается от системы с заранее заданными правилами?
Обычная система действует по правилам, которые заранее записал человек. Самообучающаяся система изменяет свои параметры или правила работы, опираясь на данные и опыт. При этом цель и условия обучения всё равно задаются человеком.
Можно ли обучить систему без готовых правильных ответов?
Да. При обучении без учителя система ищет группы и закономерности в данных без заранее указанных ответов. При обучении с подкреплением она учится по оценке последствий своих действий.
Почему система ошибается, если обучающая выборка слишком мала?
Малой выборки может не хватить, чтобы показать разнообразие ситуаций и важные закономерности. Система может неверно обобщить примеры или не встретить в обучении условия, которые появятся при работе.
Как понять, что система не просто запомнила примеры?
Нужно проверить её на новых данных, которые не использовались при обучении. Если система справляется и с ними, это свидетельствует о способности переносить найденные закономерности на незнакомые случаи.
Кто задаёт цель обучения и оценивает результат?
Цель, критерии успеха и данные для обучения определяет человек или организация, которая создаёт систему. Оценку проводят по заранее выбранным показателям и проверочным данным, а результаты могут потребовать дополнительной настройки.
§ 13. Самообучающиеся технические системы
