Содержание
- Введение 1
- Основные понятия и методы предварительной обработки текста 2
- - Токенизация и лексический анализ 2.1
- - Удаление стоп-слов и пунктуации 2.2
- - Нормализация текста 2.3
- Методы стемминга и лемматизации 3
- - Стемминг: алгоритмы и примеры 3.1
- - Лемматизация: принципы и особенности 3.2
- - Сравнение стемминга и лемматизации 3.3
- Векторное представление текста 4
- - Bag-of-Words и TF-IDF 4.1
- - Word Embeddings (Word2Vec, GloVe) 4.2
- - Оценка эффективности векторных представлений 4.3
- Практическое применение обработки текстовой информации 5
- - Анализ тональности текста 5.1
- - Информационный поиск и поисковые системы 5.2
- - Машинный перевод 5.3
- Заключение 6
- Список литературы 7