Содержание
- Введение 1
- Основы Архитектуры Трансформеров 2
- - Механизм Внимания (Attention Mechanism) 2.1
- - Кодирование и Декодирование в Трансформерах 2.2
- - Позиционное Кодирование 2.3
- GPT: Архитектура и Обучение 3
- - Предобучение и Fine-Tuning 3.1
- - Масштабирование Моделей GPT 3.2
- - Проблемы и Решения при Обучении GPT 3.3
- Оценка и Метрики Производительности GPT 4
- - Автоматические Метрики Оценки 4.1
- - Ручная Оценка Качества 4.2
- - Перплексия (Perplexity) 4.3
- Заключение 5
- Список литературы 6