Этот коммит содержится в:
Mokhov Andrey
2025-05-07 15:05:37 +03:00
родитель b5b773aff3
Коммит 32045e284c
6 изменённых файлов: 14 добавлений и 5 удалений

Просмотреть файл

@@ -11,18 +11,19 @@
2. Импортировать необходимые для работы библиотеки и модули
3. Загрузить обучающую и экзаменационную выборку в соответствие с вариантом
4. Вывести на экран по одному-два документа каждого класса.
5. Применить стемминг, записав обработанные выборки (тестовую и обучающую) в новые переменные
6. Провести векторизацию выборки:
5. Провести векторизацию выборки:
A. Векторизовать обучающую и тестовую выборки простым подсчетом слов (CountVectorizer)
B. Вывести и проанализировать первые 20 наиболее частотных слов всей выборки и каждого класса по-отдельности.
C. Применить процедуру отсечения стоп-слов и повторить пункт B.
D. Провести пункт A для обучающей и тестовой выборки, для которой выполнен стемминг.
7. Рассчитать сходство по коэффициенту Жаккара между тремя классами для исходых выборок и для выборок после отсечения стоп-слов. При подсчете использовать все слова выборки.
D. Применить стемминг, записав обработанные выборки (тестовую и обучающую) в новые переменные
E. Провести пункт A для обучающей и тестовой выборки, для которой выполнен стемминг.
6. Рассчитать сходство по коэффициенту Жаккара между тремя классами для исходых выборок и для выборок после отсечения стоп-слов. При подсчете использовать все слова выборки.
7. Используя конвейер (Pipeline) реализовать модель Наивного Байесовского классификатора и выявить на основе показателей качества
(значения полноты, точности, f1-меры и аккуратности), какая предварительная обработка данных обеспечит наилучшие результаты классификации.
Должны быть исследованы следующие характеристики: