Содержание
- Введение 1
- Основы Механизмов Внимания 2
- - Query, Key, Value: Основные Компоненты 2.1
- - Функции Вычисления Весов Внимания 2.2
- - Softmax и Нормализация Весов 2.3
- Типы Моделей Внимания 3
- - Self-Attention: Внимание к Себе 3.1
- - Global vs. Local Attention 3.2
- - Другие Вариации Attention 3.3
- Применение Моделей Внимания 4
- - Внимание в Обработке Естественного Языка 4.1
- - Внимание в Компьютерном Зрении 4.2
- - Другие Области Применения 4.3
- Заключение 5
- Список литературы 6