Загрузить файлы в «lab3»

lab3/3.1_autoencoder.ipynb

@@ -12,7 +12,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "15BpjnZQzAUG"
+   },
    "source": [
     "> Цель работы: знакомство с применением многослойного персептрона для решения задач сжатия данных, прогнозирования временных рядов и распознавания образов.\n",
     ">\n",
@@ -27,7 +29,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "F1-sSuk2zAUI"
+   },
    "source": [
     "Импорт библиотек:"
    ]
@@ -42,11 +46,11 @@
    "source": [
     "import numpy as np\n",
     "import pandas as pd\n",
-    "import seaborn as sns\n",
     "import torch\n",
     "import matplotlib.pyplot as plt\n",
     "from IPython.display import clear_output\n",
     "from mpl_toolkits.mplot3d import Axes3D\n",
+    "from sklearn.model_selection import train_test_split\n",
     "\n",
     "from torch import nn\n",
     "\n",
@@ -55,7 +59,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "GtZJ1mGmzAUL"
+   },
    "source": [
     "### Содержание:  \n",
     "[1. Подготовка данных](#p_1)  \n",
@@ -65,14 +71,18 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "HZNHPPKUzAUM"
+   },
    "source": [
     "## 1. Подготовка данных<a id=\"p_1\"></a>"
    ]
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "h2JqhwwrzAUN"
+   },
    "source": [
     "Загрузим в датафрейм `data` данные о сорока образцах минеральной воды, хранящиеся в файле `min_water.txt`."
    ]
@@ -86,7 +96,7 @@
      "height": 256
     },
     "id": "PkNWYbQCpsl_",
-    "outputId": "ee2dd8c3-2d7d-4962-bc40-a5cc2dded5db"
+    "outputId": "1de6457f-9cc1-42a1-b4f1-2c13c5b66100"
    },
    "outputs": [],
    "source": [
@@ -96,7 +106,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "YjqpAWl9zAUR"
+   },
    "source": [
     "Вынесем в отдельные переменные:\n",
     " - `y_binary` — выходной признак для задачи бинарной классификации (первый столбец датафрейма);\n",
@@ -120,7 +132,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "rpgOkJkPzAUT"
+   },
    "source": [
     "Выпишите в список `features` отобранные в прошлой лабораторной работе признаки (формат: `features = ['VAR1', 'VAR2']`):"
    ]
@@ -128,7 +142,9 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {},
+   "metadata": {
+    "id": "R0bIf4PUzAUT"
+   },
    "outputs": [],
    "source": [
     "features = # Ваш код здесь"
@@ -136,7 +152,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "ddwgNPoyzAUV"
+   },
    "source": [
     "Датафрейм с отобранными входными признаками `X_data_filtered`:"
    ]
@@ -150,7 +168,7 @@
      "height": 206
     },
     "id": "d6eTUCk2Cjdc",
-    "outputId": "d89643dd-a410-42b2-9b91-c4534966fd1d"
+    "outputId": "656c9a35-26f6-4425-b35e-ca06930abc82"
    },
    "outputs": [],
    "source": [
@@ -162,7 +180,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Произведите нормализацию или стандартизацию (на выбор) отобранных входных данных `X_data_filtered`. Результат сохраните в переменную `X_data_preprocessed`, которую затем представьте в виде тензора `X_data_tensor`:"
+    "C помощью функции `train_test_split` разбейте данные (`X_data_filtered`, `y_multiclass`) на обучающую (`X_multiclass_train`, `y_multiclass_train`), валидационную (`X_multiclass_valid`, `y_multiclass_valid`) и тестовую выборки (`X_multiclass_test`, `y_multiclass_test`) с сохранением соотншений классов (сортов минеральной воды):"
    ]
   },
   {
@@ -173,19 +191,37 @@
    },
    "outputs": [],
    "source": [
-    "# Ваш код здесь\n",
+    "X_multiclass_train, X_multiclass_test, y_multiclass_train, y_multiclass_test = # Ваш код здесь\n",
     "\n",
-    "X_data_preprocessed = # Ваш код здесь\n",
+    "X_multiclass_train, X_multiclass_valid, y_multiclass_train, y_multiclass_valid = # Ваш код здесь"
-    "\n",
+   ]
-    "X_data_tensor = # Ваш код здесь"
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "LAOh4V56zAUV"
+   },
+   "source": [
+    "Произведите нормализацию или стандартизацию (на выбор) входных данных. Результат сохраните в переменные (`X_multiclass_train`, `X_multiclass_valid`, `X_multiclass_test`), которую затем представьте в виде тензоров:"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "X_means = # Ваш код здесь\n",
+    "X_stds = # Ваш код здесь\n",
+    "\n",
+    "X_multiclass_train = # Ваш код здесь\n",
+    "X_multiclass_valid = # Ваш код здесь\n",
+    "X_multiclass_test = # Ваш код здесь"
    ]
   },
   {
    "cell_type": "markdown",
    "metadata": {
-    "colab": {
-     "base_uri": "https://localhost:8080/"
-    },
     "id": "AtGktiZmJiUV",
     "outputId": "f9edb4f0-c5ab-4a62-af28-6552c981512f"
    },
@@ -211,7 +247,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "asRgUuyNzAUY"
+   },
    "source": [
     "Допишите класс `Autoencoder` структурами энкодера и декодера на основе полносвязных слоёв `nn.Linear`. В качестве функций активации используйте `nn.ReLU()`. При этом на выходе энкодера функцию активации можно не применять — это позволит сохранить отрицательные значения в кодированном представлении."
    ]
@@ -219,7 +257,9 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {},
+   "metadata": {
+    "id": "F297Z81wzAUY"
+   },
    "outputs": [],
    "source": [
     "class Autoencoder(nn.Module):\n",
@@ -240,7 +280,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "R5sVUOy7zAUZ"
+   },
    "source": [
     "Создайте экземпляр модели с двумя нейронами в «узком горле»:"
    ]
@@ -248,7 +290,9 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {},
+   "metadata": {
+    "id": "MlSSzk2yzAUa"
+   },
    "outputs": [],
    "source": [
     "model_2 = Autoencoder(# Ващ код здесь\n",
@@ -258,9 +302,6 @@
   {
    "cell_type": "markdown",
    "metadata": {
-    "colab": {
-     "base_uri": "https://localhost:8080/"
-    },
     "id": "tGS2_TqjK_SI",
     "outputId": "a1a63c33-5dd5-461e-8d20-97fc34455f21"
    },
@@ -276,16 +317,18 @@
      "base_uri": "https://localhost:8080/"
     },
     "id": "Y3GS-3AaKYt7",
-    "outputId": "981a4cd8-3b19-4bf6-ac07-ddd13e3df131"
+    "outputId": "81ecb257-7d72-443e-aa9e-256271a17a6e"
    },
    "outputs": [],
    "source": [
-    "model_2(X_data_tensor[:3])"
+    "model_2(X_multiclass_train[:3])"
    ]
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "8hJk8GWIzAUb"
+   },
    "source": [
     "Удостоверимся, что размерность её выхода совпадает с размерностью её входа:"
    ]
@@ -293,15 +336,19 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {},
+   "metadata": {
+    "id": "pDmdGMRZzAUc"
+   },
    "outputs": [],
    "source": [
-    "assert X_data_tensor[:3].shape == model_2(X_data_tensor[:3]).shape"
+    "assert X_multiclass_train[:3].shape == model_2(X_multiclass_train[:3]).shape"
    ]
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "IjoYYn-ozAUc"
+   },
    "source": [
     "Проверим, как модель обучается. Зададим оптимизатор и среднеквадратическую функцию потерь:"
    ]
@@ -320,7 +367,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "HqcQqxN7zAUd"
+   },
    "source": [
     "Рассчитаем значение функции потерь:"
    ]
@@ -333,19 +382,21 @@
      "base_uri": "https://localhost:8080/"
     },
     "id": "5kKYW89_KY8j",
-    "outputId": "94e90485-ca86-4204-e61d-75d247a87fc4"
+    "outputId": "a5ece716-5c89-4553-c78c-1e5c7e20eedf"
    },
    "outputs": [],
    "source": [
-    "decoded = model_2(X_data_tensor)\n",
+    "decoded = model_2(X_multiclass_train)\n",
     "\n",
-    "loss = criterion(decoded, X_data_tensor)\n",
+    "loss = criterion(decoded, X_multiclass_train)\n",
     "loss"
    ]
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "JVplv7O8zAUd"
+   },
    "source": [
     "Выполните несколько раз эту и предыдущую ячейку, чтобы убедиться в уменьшении ошибки:"
    ]
@@ -365,7 +416,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "iXqI-DurzAUe"
+   },
    "source": [
     "Задайте параметры для обучения автоассоциативной сети с двумя нейронами в «узком горле»:"
    ]
@@ -373,7 +426,9 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {},
+   "metadata": {
+    "id": "5s4GjW_PzAUe"
+   },
    "outputs": [],
    "source": [
     "torch.manual_seed(seed=42)\n",
@@ -391,7 +446,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "SN8PZ41vzAUp"
+   },
    "source": [
     "**Обучение нейронной сети:**"
    ]
@@ -402,16 +459,21 @@
    "metadata": {},
    "outputs": [],
    "source": [
-    "loss_history = []\n",
+    "loss_train_history, loss_valid_history = [], []\n",
     "\n",
     "for epoch in range(epochs):\n",
     "    # Ваш код здесь\n",
     "\n",
+    "    # Отключаем градиенты для этапа валидации\n",
+    "    with torch.no_grad():\n",
+    "        # Ваш код здесь\n",
+    "\n",
     "    if (epoch + 1) % 5 == 0:\n",
     "\n",
     "        clear_output(True)\n",
-    "        plt.plot(range(1, epoch+2), loss_history, label='Loss')\n",
+    "        plt.plot(range(1, epoch+2), loss_train_history, label='Train', color='green')\n",
-    "        plt.title(f'Epoch: {epoch + 1}, Loss: {loss_history[-1]:.6f}')\n",
+    "        plt.plot(range(1, epoch+2), loss_valid_history, label='Valid', color='red')\n",
+    "        plt.title(f'Epoch: {epoch + 1}, Loss Train: {loss_train_history[-1]:.6f}, Loss Valid: {loss_valid_history[-1]:.6f}')\n",
     "        plt.grid(True, alpha=0.3)\n",
     "        plt.legend(loc='best')\n",
     "        plt.show()"
@@ -420,6 +482,54 @@
   {
    "cell_type": "markdown",
    "metadata": {},
+   "source": [
+    "Проверим качество обученной сети на тестовой выборке:"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "colab": {
+     "base_uri": "https://localhost:8080/"
+    },
+    "id": "t-Xkwg4h3gyS",
+    "outputId": "ddfc13ae-f942-4328-9036-92b318c726bc"
+   },
+   "outputs": [],
+   "source": [
+    "with torch.no_grad():\n",
+    "    decoded_test = model_2(X_multiclass_test)\n",
+    "    loss_test = criterion(decoded_test, X_multiclass_test)\n",
+    "\n",
+    "print(f'Loss Test: {loss_test.item():.6f}')"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Далее необходимо через обученную сети пропустить все имеющиеся входные данные. Здесь можно сконкатенировать обучающую, валидационную и тестовую выборки, но можно и заново стандартизировать исходные данные `X_data_filtered` с помощью переменных `X_means` и `X_stds`, которые обязательно должны быть ранее рассчитаны на обучающей выборке `X_multiclass_train` (аналогично будет и для нормировки данных). Результат будет прелставлен в виде тензора.\n",
+    "\n",
+    "Такой вариант сохранит исходный порядок записей в данных и позволит нам использовать исходный вектор `y_multiclass` для разметки классов ниже."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "id": "0RbKOwMeZUcn"
+   },
+   "outputs": [],
+   "source": [
+    "X_data_tensor = torch.tensor(((X_data_filtered - X_means) / X_stds).values).float()"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "TrWOUf0vzAUq"
+   },
    "source": [
     "После обучения сети получим двумерные данные с выхода энкодера:"
    ]
@@ -432,7 +542,7 @@
      "base_uri": "https://localhost:8080/"
     },
     "id": "HFcSAdGoOaog",
-    "outputId": "36330737-7606-4a6a-e532-6bf372deb34d"
+    "outputId": "1233f17c-2188-402e-d1dc-697dc6c0bfb4"
    },
    "outputs": [],
    "source": [
@@ -442,7 +552,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "GjtM4NXLzAUr"
+   },
    "source": [
     "Построим двумерную диаграмму рассеяния и отметим классы с помощью `y_multiclass`:"
    ]
@@ -456,7 +568,7 @@
      "height": 430
     },
     "id": "KkToPCInQQ1J",
-    "outputId": "244bae8a-94a9-4817-a564-69c630efea98"
+    "outputId": "8469b911-292a-4016-fbd3-38f92997adad"
    },
    "outputs": [],
    "source": [
@@ -472,7 +584,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "t0EmzLHXzAUs"
+   },
    "source": [
     "По аналогии обучите автоассоциативную сеть с тремя нейронами в «узком горле»:"
    ]
@@ -480,7 +594,9 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {},
+   "metadata": {
+    "id": "WasLielLzAUt"
+   },
    "outputs": [],
    "source": [
     "torch.manual_seed(seed=42)\n",
@@ -493,7 +609,9 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {},
+   "metadata": {
+    "id": "cFxc9xD-zAUt"
+   },
    "outputs": [],
    "source": [
     "# Ваш код здесь"
@@ -501,15 +619,19 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "18f786y5zAUv"
+   },
    "source": [
-    "После обучения сети получите трёхмерные данные с выхода энкодера:"
+    "После обучения сети получите трёхмерные данные с выхода энкодера (снова по всем данным `X_data_tensor`, которые уже были подготовлены выше):"
    ]
   },
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {},
+   "metadata": {
+    "id": "PLjKuu-szAUw"
+   },
    "outputs": [],
    "source": [
     "encoded_3d = # Ваш код здесь"
@@ -517,7 +639,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "BYn45sTnzAUx"
+   },
    "source": [
     "Построим трёхмерную диаграмму рассеяния:"
    ]
@@ -531,7 +655,7 @@
      "height": 653
     },
     "id": "RpqVg5EeT72I",
-    "outputId": "2f5e070d-aa49-4eab-cd8e-277bd3a2c4b5"
+    "outputId": "7b9aac3c-68d5-44d7-db56-8f7a53e3aa37"
    },
    "outputs": [],
    "source": [
@@ -561,7 +685,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "NNWL9ZakzAUy"
+   },
    "source": [
     "Сохраним в бинарные файлы `.npy` выходы энкодеров обеих моделей — для следующей лабораторной работы:"
    ]
@@ -569,7 +695,9 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {},
+   "metadata": {
+    "id": "p2Zx-Jz4zAUz"
+   },
    "outputs": [],
    "source": [
     "np.save('encoded_2d.npy', encoded_2d)\n",
@@ -578,14 +706,18 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "K-pYtaxBzAUz"
+   },
    "source": [
     "## 3. Автоассоциативная нейронная сеть на неполных данных<a id=\"p_3\"></a>"
    ]
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "J3RSV5WDzAU0"
+   },
    "source": [
     "Выберите класс, который нужно исключить:"
    ]
@@ -593,7 +725,9 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {},
+   "metadata": {
+    "id": "_UuEf5TRzAU0"
+   },
    "outputs": [],
    "source": [
     "label_to_exclude = # Ваш код здесь"
@@ -601,7 +735,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "MmlBKShgzAU1"
+   },
    "source": [
     "Создадим маску для исключения данных этого класса:"
    ]
@@ -619,7 +755,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
+    "id": "SA3A39ARzAU1"
+   },
    "source": [
     "Данные исключены:"
    ]
@@ -628,22 +766,60 @@
    "cell_type": "code",
    "execution_count": null,
    "metadata": {
-    "colab": {
+    "id": "I7sTKdWgQRWQ"
-     "base_uri": "https://localhost:8080/"
-    },
-    "id": "I7sTKdWgQRWQ",
-    "outputId": "95d2a292-7e2f-401e-e473-7d5f09b0d7fb"
    },
    "outputs": [],
    "source": [
-    "X_data_tensor[mask_to_exclude].shape"
+    "X_data_include = X_data_filtered.loc[mask_to_exclude, :]\n",
+    "y_include = y_multiclass[mask_to_exclude]"
    ]
   },
   {
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "По аналогии с предыдущим пунктом реализуйте обучение автоассоциативных сетей с двумя и тремя нейронами в «узком горле» на неполных данных (т.е. на каждой эпохе вместо полных данных `X_data_tensor` на модель нужно подавать неполные данные `X_data_tensor[mask_to_exclude]`).\n",
+    "По аналогии с помощью функции `train_test_split` разбейте данные (`X_data_include`, `y_include`) на обучающую (`X_include_train`, `y_include_train`), валидационную (`X_include_valid`, `y_include_valid`) и тестовую выборки (`X_include_test`, `y_include_test`) с сохранением соотншений классов:"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "X_include_train, X_include_test, y_include_train, y_include_test = # Ваш код здесь\n",
+    "\n",
+    "X_include_train, X_include_valid, y_include_train, y_include_valid = # Ваш код здесь"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Обратите внимание, что `X_means` и `X_stds` перерасчитываются уже на другой по составу обучающей выборке."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "X_means = # Ваш код здесь\n",
+    "X_stds = # Ваш код здесь\n",
+    "\n",
+    "X_include_train = # Ваш код здесь\n",
+    "X_include_valid = # Ваш код здесь\n",
+    "X_include_test = # Ваш код здесь"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "V2MUFTkczAU2"
+   },
+   "source": [
+    "По аналогии с предыдущим пунктом реализуйте обучение автоассоциативных сетей с двумя и тремя нейронами в «узком горле».\n",
     "\n",
     "Результаты выходов энкодеров в обоих случаях также сохраните в отдельные бинарные файлы."
    ]
@@ -651,7 +827,9 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {},
+   "metadata": {
+    "id": "qnSnyqNGzAU2"
+   },
    "outputs": [],
    "source": [
     "# Ваш код здесь"
@@ -660,12 +838,41 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {},
+   "metadata": {
+    "id": "MMW6h5P1zAU3"
+   },
    "outputs": [],
    "source": [
     "# Ваш код здесь"
    ]
   },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Обратите внимание, что тензор `X_data_tensor` снова получен из исходных данных `X_data_filtered`, но уже с пересчитанными `X_means` и `X_stds` (без одного класса):"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {
+    "id": "1FjpRmrCaOp4"
+   },
+   "outputs": [],
+   "source": [
+    "X_data_tensor = torch.tensor(((X_data_filtered - X_means) / X_stds).values).float()"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "encoded_2d_include = # Ваш код здесь"
+   ]
+  },
   {
    "cell_type": "code",
    "execution_count": null,
@@ -678,8 +885,38 @@
    ]
   },
   {
-   "cell_type": "markdown",
+   "cell_type": "code",
+   "execution_count": null,
    "metadata": {},
+   "outputs": [],
+   "source": [
+    "# Ваш код здесь"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "encoded_3d_include = # Ваш код здесь"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "np.save('encoded_2d_include.npy', encoded_2d_include)\n",
+    "np.save('encoded_3d_include.npy', encoded_3d_include)"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "-BXig37czAU6"
+   },
    "source": [
     "### Литература:\n",
     "1. Бородкин А.А., Елисеев В.Л. Основы и применение искусственных нейронных сетей. Сборник лабораторных работ: методическое пособие. – М.: Издательский дом МЭИ, 2017.\n",
@@ -689,10 +926,10 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {},
+   "metadata": {
-   "source": [
+    "id": "-KIqZEHczAU6"
-    " "
+   },
-   ]
+   "source": []
   }
  ],
  "metadata": {