main/TDA
10
0
Форкнуть 1
Код Задачи Запросы на слияние Пакеты Проекты Релизы Вики Активность

lec04

Просмотр исходного кода
Этот коммит содержится в:
Andrey
2024-03-05 09:14:51 +03:00
родитель 72a7d78a92
Коммит a383f571b6
4 изменённых файлов: 72 добавлений и 128 удалений
Скачать Patch файл Скачать Diff файл Показать все файлы Свернуть все файлы

71
lections/notebooks/lec5_text2vec_classifier.ipynb
Просмотреть файл

@@ -594,27 +594,14 @@
" -0.34222007 1.78697008 -1.45404002 2.56643 -1.32184002\n",
" -1.04677537 0.27867999 -12.95450976 -1.00809997 3.15975004\n",
" -0.52662008 1.93239999 -0.89686999 -0.60924001 1.51628\n",
" -3.16624993 -0.89275002 1.86969995 -1.33607102 -2.23464306]\n",
"glove_data: 0 1 2 3 4 5 6 7 \\\n",
"0 -1.55058 -0.081683 0.279919 0.588469 -1.00551 -0.826139 6.18643 1.44845 \n",
"0 1.73610 0.742082 0.355460 -4.744110 1.41544 -0.342220 1.78697 -1.45404 \n",
"\n",
" 8 9 ... 15 16 17 18 19 \\\n",
"0 -0.71108 -1.14717 ... -0.430875 0.872347 -0.806399 0.27203 2.23922 \n",
"0 2.56643 -1.32184 ... -0.526620 1.932400 -0.896870 -0.60924 1.51628 \n",
"\n",
" 20 21 22 23 24 \n",
"0 -1.23572 -1.310711 -1.96934 -0.176410 -0.135300 \n",
"0 -3.16625 -0.892750 1.86970 -1.336071 -2.234643 \n",
"\n",
"[2 rows x 25 columns]\n"
" -3.16624993 -0.89275002 1.86969995 -1.33607102 -2.23464306]\n"
]
},
{
"name": "stderr",
"output_type": "stream",
"text": [
"C:\\Users\\Андрей\\AppData\\Local\\Temp\\ipykernel_29476\\129113310.py:17: FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead.\n",
"C:\\Users\\Андрей\\AppData\\Local\\Temp\\ipykernel_8524\\2010506005.py:17: FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead.\n",
" glove_data=glove_data.append(pd.DataFrame([one_doc]))\n"
]
}
@@ -623,7 +610,7 @@
"# Создадим датафрейм, в который будем сохранять вектор документа\n",
"glove_data=pd.DataFrame()\n",
"\n",
"# Пробегаем по каждой строке (по каждому документу)\n",
"# Пробегаем по каждой строке датафрейма (по каждому документу)\n",
"for i in range(CV_text_data.shape[0]):\n",
" \n",
" # Вектор одного документа с размерностью glove-модели:\n",
@@ -636,8 +623,7 @@
" print(word, ': ', glove_model[word])\n",
" one_doc += glove_model[word]\n",
" print(text_data[i], ': ', one_doc)\n",
" glove_data=glove_data.append(pd.DataFrame([one_doc])) \n",
"print('glove_data: ', glove_data)"
" glove_data=glove_data.append(pd.DataFrame([one_doc])) \n"
]
},
{
@@ -804,33 +790,6 @@
"glove_data\n"
]
},
{
"cell_type": "code",
"execution_count": 14,
"id": "cb6edbdf",
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"array([ 1.73610002, 0.74208201, 0.35545996, -4.74411008,\n",
" 1.41543998, -0.34222007, 1.78697008, -1.45404002,\n",
" 2.56643 , -1.32184002, -1.04677537, 0.27867999,\n",
" -12.95450976, -1.00809997, 3.15975004, -0.52662008,\n",
" 1.93239999, -0.89686999, -0.60924001, 1.51628 ,\n",
" -3.16624993, -0.89275002, 1.86969995, -1.33607102,\n",
" -2.23464306])"
]
},
"execution_count": 14,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"one_doc"
]
},
{
"cell_type": "code",
"execution_count": 15,
@@ -1217,28 +1176,6 @@
"train_data_glove"
]
},
{
"cell_type": "code",
"execution_count": 16,
"id": "3a7ea7c6",
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"<1657x23297 sparse matrix of type '<class 'numpy.int64'>'\n",
"\twith 106580 stored elements in Compressed Sparse Row format>"
]
},
"execution_count": 16,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"train_data\n"
]
},
{
"cell_type": "code",
"execution_count": 17,