{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "AoAuVqmYggH6"
   },
   "source": [
    "### ЛАБОРАТОРНАЯ РАБОТА №3\n",
    "## Применение многослойного персептрона. Автоассоциативная ИНС"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "32GlCnm4ggH9"
   },
   "source": [
    "> Цель работы: знакомство с применением многослойного персептрона для решения задач сжатия данных, прогнозирования временных рядов и распознавания образов.\n",
    ">\n",
    "> Задание\n",
    "> 1. Открыть файл с данными по минеральной воде, который использовался при решении задач классификации в предыдущей лабораторной работе. Построить и обучить автоассоциативные нейронные сети с 2-мя и 3-мя нейронами в скрытом слое:  \n",
    "> а) для исходных данных из 5-ти классов;  \n",
    "> б) для исходных данных из 4-х классов.  \n",
    "> Провести визуализацию данных в скрытом слое каждой сети на плоскость и в 3-х мерное пространство.  Проанализировать полученные результаты. Выбрать и сохранить автоассоциативные ИНС, обеспечивающие наилучшее сжатие исходных данных.  \n",
    "> 2. Исследовать возможности ИНС по прогнозированию поведения нелинейных динамических систем (построение странного аттрактора) на примере отображения Хенона. Аттрактор Хенона может быть получен из уравнений $x_{n+1} = 1 - \\alpha x_{n}^2 + y_{n}$ и $y_{n+1} = \\beta x_{n}$, где $α = 1.4$, $β = 0.3$.\n",
    "> Для прогнозирования предлагается использовать многослойный персептрон и сеть с радиально-базисными функциями.\n",
    "> Постройте также прогноз курса доллара на один день вперед. В качестве исходных данных загрузить актуальные данные с сайта центрального банка России (http://www.cbr.ru).\n",
    "> 3. Решить задачу распознавания 9-ти изображений самолетов. Исходные данные (файлы avia1.bmp, …, avia9.bmp) необходимо предварительно преобразовать в набор векторов со значениями признаков 0 или 1. Обученная нейронная сеть должна правильно определять модель самолета и его класс (истребитель/бомбардировщик). Принадлежность модели к определенному классу выбирается студентом самостоятельно."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "k_B6wp5VggH_"
   },
   "source": [
    "Импорт библиотек:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "tHv-NgtJ30SO"
   },
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt\n",
    "import torch\n",
    "from IPython.display import clear_output\n",
    "from torch import nn\n",
    "from sklearn.cluster import KMeans\n",
    "from sklearn.linear_model import LinearRegression\n",
    "\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "4vwZ6H2DggIB"
   },
   "source": [
    "Среднеквадратическая ошибка:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "OGGq8mjQggIC"
   },
   "outputs": [],
   "source": [
    "def mse(y_pred, y_true):\n",
    "    return np.mean((y_pred - y_true) ** 2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Содержание:  \n",
    "[1. Подготовка данных](#p_1)  \n",
    "[2. Сеть с радиально-базисными функциями](#p_2)  \n",
    "[3. Многослойный персептрон](#p_3)  \n",
    "[4. Сравнение моделей](#p_4)  \n",
    "[5. Прогнозирование курса доллара](#p_5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "iaKX-JW9ggIC"
   },
   "source": [
    "## 1. Подготовка данных<a id=\"p_1\"></a>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "C4MQNIvaggIC"
   },
   "source": [
    "Функция с реализацией отображения Хенона — уравнения $x_{n+1} = 1 - \\alpha x_{n}^2 + y_{n}$ и $y_{n+1} = \\beta x_{n}$, где $α = 1.4$, $β = 0.3$:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "3nMMP4Zj1Bwu"
   },
   "outputs": [],
   "source": [
    "def xenon_map(x=0, y=0, alpha=1.4, beta=0.3):\n",
    "    x_next = 1 - alpha * x ** 2 + y\n",
    "    y_next = beta * x\n",
    "    return x_next, y_next"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "9HXiFkDoggID"
   },
   "source": [
    "Укажите количество точек во временном ряде, который будет получен из отображения Хенона:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "BUgZtjUyggID"
   },
   "outputs": [],
   "source": [
    "n_points = # Ваш код здесь"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "XPr65SPMggIE"
   },
   "source": [
    "Сгенерируем необходимое количество точек — помним, что нужна только переменная $x$:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "iJQi12wm22eR"
   },
   "outputs": [],
   "source": [
    "x, y = 0, 0\n",
    "xenon_data = []\n",
    "for i in range(n_points):\n",
    "    x, y = xenon_map(x, y)\n",
    "    xenon_data.append(x)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "vKcPkUDCggIF"
   },
   "source": [
    "Поскольку исходная задача является задачей прогнозирования, то обучающая выборка должна включать в себя первый участок временного ряда, на котором будет обучаться модель. Валидационная выборка, на которой мы оцениваем качество предсказания модели, всегда должна идти после обучающей (аналогично с тестовой).\n",
    "\n",
    "Выделим, к примеру, первые 70% данных временного ряда `xenon_data` для обучающей выборки, следующие данные по 15% отнесём к вылидационной и тестовой выборкам (вторая и третья части данных соответственно):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "1ZMHrs0c4Ihy"
   },
   "outputs": [],
   "source": [
    "train_size = int(0.7 * n_points)\n",
    "valid_size = int(0.15 * n_points)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "JDK1n0N-ggIF"
   },
   "source": [
    "Представим данные для выборок на графике:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 430
    },
    "id": "fcaFy3iWjeQQ",
    "outputId": "64abe542-cee1-4183-b616-6c7e9c41118e"
   },
   "outputs": [],
   "source": [
    "plt.plot(xenon_data, color='k', label='Xenon Data')\n",
    "plt.axvspan(0, train_size, alpha=0.35, color='blue', label='Train')\n",
    "plt.axvspan(train_size, train_size+valid_size, alpha=0.35, color='orange', label='Valid')\n",
    "plt.axvspan(train_size+valid_size, n_points, alpha=0.35, color='green', label='Test')\n",
    "plt.legend(loc='best')\n",
    "plt.grid(True, alpha=0.3)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "pej4dfNRggIG"
   },
   "source": [
    "Пройдём с единичным шагом по всем данным `xenon_data` скользящим окном длиною `seq_length`(например, длиною 10). Таким образом сформируем пары «вход‑выход» для модели:\n",
    " - `X_data`: последовательности из `seq_length` элементов (скользящее окно по `xenon_data`),\n",
    " - `y_data`: элемент, следующий сразу за каждой последовательностью в `X_data`.\n",
    "\n",
    "***Примечание***. С помощью `[:-1]` мы убираем в `X_data` последнее окно, для которого нет «следующего значения» в `y_data`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "C2KR8vptSKVH"
   },
   "outputs": [],
   "source": [
    "seq_length = 10\n",
    "\n",
    "X_data = np.lib.stride_tricks.sliding_window_view(xenon_data, window_shape=seq_length)[:-1]\n",
    "y_data = xenon_data[seq_length:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "wM5lRDRnLWY4"
   },
   "source": [
    "Посмотрим конец полученных данных. Видно, что последнее значение `y_data` не включено в окна из `X_data`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "13yK1ZsbUfWk",
    "outputId": "5e86b1ee-c455-4087-f1c9-b1accff382fd"
   },
   "outputs": [],
   "source": [
    "X_data[-2:]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "5639fOPUTl2Q",
    "outputId": "483d2e6d-36e5-4d4a-cbed-726dc0ed4eec"
   },
   "outputs": [],
   "source": [
    "y_data[-4:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "04Pd841VggII"
   },
   "source": [
    "Длина наших данных — без учёта последнего значения:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "k62uvZDNONY1"
   },
   "outputs": [],
   "source": [
    "assert len(X_data) == len(y_data) == n_points - seq_length"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "v8vK2daVggIJ"
   },
   "source": [
    "Разделим данные на обучающую, валидационную и тестовую выборку по заданному выше соотношению 70%/15%/15%:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "jvRzLs7rS9QF"
   },
   "outputs": [],
   "source": [
    "X_train, X_valid, X_test = X_data[:train_size], X_data[train_size:train_size+valid_size], X_data[train_size+valid_size:]\n",
    "y_train, y_valid, y_test = y_data[:train_size], y_data[train_size:train_size+valid_size], y_data[train_size+valid_size:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "i4VgXIcRV91m"
   },
   "source": [
    "Отнормируйте или отстанлартизируйте входные и выходные данные.\n",
    "\n",
    "Поскольку нормирующие или стандартизирующие величины (минимум, максимум, среднее, СКО) всегда расчитываются только по значениям обучающей выборки, берём из исходных данных `xenon_data` также значения, которые попадут в последнее окно (и снова исключаем самое последнее значение):"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "fjN96i_1ggIJ"
   },
   "outputs": [],
   "source": [
    "X_mean = np.mean(xenon_data[:train_size+seq_length-1])\n",
    "X_std = np.std(xenon_data[:train_size+seq_length-1], ddof=1)\n",
    "y_mean = np.mean(y_data[:train_size])\n",
    "y_std = np.std(y_data[:train_size], ddof=1)\n",
    "\n",
    "X_train_scaled = # Ваш код здесь\n",
    "X_valid_scaled = # Ваш код здесь\n",
    "X_test_scaled = # Ваш код здесь\n",
    "\n",
    "y_train_scaled = # Ваш код здесь\n",
    "y_valid_scaled = # Ваш код здесь\n",
    "y_test_scaled = # Ваш код здесь"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "gGVJqQGUggIK"
   },
   "source": [
    "## 2. Сеть с радиально-базисными функциями<a id=\"p_2\"></a>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "xm61W3LPggIK"
   },
   "source": [
    "РБФ-сеть (Radial Basis Function Network, RBF) — это нейронная сеть, которая использует радиально-базисные функции в качестве функций активации нейронов скрытого слоя. Архитектура такой сети обычно включает три слоя:\n",
    " - Входной слой — принимает входные данные (значения временного ряда).\n",
    " - Скрытый слой — содержит нейроны с радиальными базисными функциями. Каждый нейрон вычисляет расстояние между входным вектором и заранее определённым центром функции, а затем преобразует это расстояние с помощью радиальной функции.\n",
    " - Выходной слой — линейно комбинирует (взвешенно суммирует) выходы скрытых нейронов, чтобы получить итоговый результат.\n",
    "\n",
    "Таким образом, выходной сигнал РБФ‑сети вычисляется по формуле:\n",
    "\n",
    "$$\n",
    "y(\\mathbf{x}) = \\sum_{j=1}^{H} w_j \\cdot \\phi(\\|\\mathbf{x} - \\mathbf{c}_j\\|_2)\n",
    "$$\n",
    "где:\n",
    "* $y(\\mathbf{x})$ — выходной сигнал сети для входного вектора $\\mathbf{x}$;\n",
    "* $H$ — количество нейронов в скрытом слое;\n",
    "* $w_j$ — вес связи от $j$-го нейрона скрытого слоя к выходному слою;\n",
    "* $\\mathbf{c}_j$ — центр $j$-й радиально-базисной функции;\n",
    "* $\\phi$ — радиально-базисная функция;\n",
    "* $\\|\\mathbf{x} - \\mathbf{c}_j\\|_2$ — евклидово расстояние между входным вектором $\\mathbf{x}$ и центром $\\mathbf{c}_j$.\n",
    "\n",
    "Радиально-базисная функция — это функция, которая зависит только от расстояния между входным вектором и центром функции. Чаще всего используется гауссова функция:\n",
    "$$\n",
    "\\phi(r) = \\exp\\left(-\\frac{r^2}{2\\sigma^2}\\right)\n",
    "$$\n",
    "где $r = \\|\\mathbf{x} - \\mathbf{c}\\|_2$, $\\sigma$ — параметр ширины окна.\n",
    "\n",
    "Обучение РБФ‑сетей обычно проходит в два этапа:\n",
    "\n",
    "1. Определение параметров радиально-базисной функции (центров $\\mathbf{c}_i$ и ширин $\\sigma_i$):\n",
    "    * кластеризация (например, k‑means) для нахождения центров;\n",
    "    * эвристические методы или кросс‑валидация для ширин.\n",
    "\n",
    "2. Обучение выходных весов $w_j$:\n",
    "    * решение задачи линейной регрессии (с использованием обучения с учителем, например, методом наименьших квадратов или градиентного спуска).\n",
    "    \n",
    "Таким образом, на первом этапе сеть определяет, где в пространстве признаков сосредоточены основные закономерности данных. Для этого, например, используются алгоритмы кластеризации: объекты (значения временного ряда) внутри одного кластера получатся максимально похожи друг на друга, а объекты разных классов — максимально различны (т.о. определим важные зоны или паттерны ряда).\n",
    "\n",
    "После определения центров сеть анализирует, как каждая точка соотносится с ними. Это показывает гауссова РБФ — для каждой точки вычисляется расстояние до каждого из центров, и чем ближе точка к центру, тем выше значение функции (близко к 1), а также наоборот — чем дальше точка к центру, тем ниже (РБФ стремится к 0). Для каждой точки получается вектор активаций — набор чисел, показывающих, насколько она «похожа» на каждый из центров. Так, точка между двумя центрами даст средние значения для обоих, а точка рядом с одним центром — высокое значение для него и низкие для остальных.\n",
    "\n",
    "На этих активациях для получения весов между скрытым и выходным слоями обучается линейная регрессия. Она находит оптимальные веса для каждого выхода скрытого слоя: какие локальные паттерны важнее для прогноза, какие — менее значимы."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "2y2jya41ggIL"
   },
   "source": [
    "Реализуем с помощью класса `RBFPredictor` РБФ-сеть с описанной выше архитектурой.\n",
    "\n",
    "При инициализации (`.__init__()`) задаётся `n_centers` — число центров (нейронов скрытого слоя), устанавливается параметр ширины окна `sigma` для гауссовой функции, создаётся модель линейной регрессии `linear_model` для выходного слоя (взята из библиотеки sklearn).\n",
    "\n",
    "Выбор `n_centers` центров из входных данных происходит в методе `.fit()`. Для этого используется алгоритм k‑means (взят из библиотеки sklearn).\n",
    "\n",
    "Далее в скрытом слое (метод `._radial_basis()`) для каждого входного вектора (объекта) вычисляются расстояния до всех центров. Расстояния преобразуются в значения гауссовой РБФ. На выходе получается матрица активаций размером (число объектов, число центров).\n",
    "\n",
    "На данной матрице активаций скрытого слоя `phi` и целевых значениях `y` обучается модель линейной регрессии `linear_model`. Веса регрессии становятся весами связей от скрытого слоя к выходному.\n",
    "\n",
    "При прогнозировании (метод `.predict()`) для новых данных вычисляются активации скрытого слоя (через гауссовы РБФ относительно тех же центров), а обученная линейная модель применяет веса к этим активациям и выдаёт финальный прогноз."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "yjn8NBbYXA5p"
   },
   "outputs": [],
   "source": [
    "class RBFPredictor:\n",
    "    def __init__(self, n_centers, sigma=1.0):\n",
    "        self.n_centers = n_centers\n",
    "        self.sigma = sigma\n",
    "        self.centers = None\n",
    "        self.linear_model = LinearRegression()\n",
    "\n",
    "\n",
    "    def _radial_basis(self, X, centers):\n",
    "        distances = np.zeros((X.shape[0], centers.shape[0]))\n",
    "        for i, center in enumerate(centers):\n",
    "            distances[:, i] = np.sqrt(np.sum((X - center) ** 2, axis=1))\n",
    "        return np.exp(-(distances ** 2) / (2 * self.sigma ** 2))\n",
    "\n",
    "\n",
    "    def fit(self, X, y):\n",
    "        # Выбираем центры с помощью кластеризации\n",
    "        kmeans = KMeans(n_clusters=self.n_centers, random_state=42)\n",
    "        self.centers = kmeans.fit(X).cluster_centers_\n",
    "        # Вычисляем выход скрытого слоя\n",
    "        phi = self._radial_basis(X, self.centers)\n",
    "        # Обучаем линейный выходной слой\n",
    "        self.linear_model.fit(phi, y)\n",
    "\n",
    "\n",
    "    def predict(self, X):\n",
    "        phi = self._radial_basis(X, self.centers)\n",
    "        return self.linear_model.predict(phi)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "2IAX5UXUggIL"
   },
   "source": [
    "Обучите модель `model_rbf`. Для этого подберите подходящее количество центров `n_centers` и ширину окна `sigma`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "a5RQRqH5ggIM"
   },
   "outputs": [],
   "source": [
    "model_rbf = RBFPredictor(\n",
    "    # Ваш код здесь\n",
    ")\n",
    "\n",
    "model_rbf.fit(X_train_scaled, y_train_scaled)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "bOlEYLHGggIN"
   },
   "source": [
    "При подборе добейтесь примерно одинаковой (или хотя бы сопоставимой) ошибки на обучающей и вадилационной выборках:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "T1RLJMCyivU1",
    "outputId": "00671844-3026-4302-ecfc-0130c6f840f0"
   },
   "outputs": [],
   "source": [
    "pred_rbf_train = model_rbf.predict(X_train_scaled)\n",
    "pred_rbf_valid = model_rbf.predict(X_valid_scaled)\n",
    "\n",
    "print('Loss')\n",
    "print(f'Train: {mse(pred_rbf_train, y_train_scaled):.6f}')\n",
    "print(f'Valid: {mse(pred_rbf_valid, y_valid_scaled):.6f}')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "NLZo9mQKggIm"
   },
   "source": [
    "Проверка `model_rbf` на тестовых данных будет ниже."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "G2kFrJUAmWRz"
   },
   "source": [
    "## 3. Многослойный персептрон<a id=\"p_3\"></a>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "3kvNrdq3ggIn"
   },
   "source": [
    "Представим входные и выходные данные в виде тензоров PyTorch:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "-GkRe60zptZd"
   },
   "outputs": [],
   "source": [
    "X_train_tensor = torch.tensor(X_train_scaled).float()\n",
    "y_train_tensor = torch.tensor(y_train_scaled).reshape(-1, 1).float()\n",
    "X_valid_tensor = torch.tensor(X_valid_scaled).float()\n",
    "y_valid_tensor = torch.tensor(y_valid_scaled).reshape(-1, 1).float()\n",
    "X_test_tensor = torch.tensor(X_test_scaled).float()\n",
    "y_test_tensor = torch.tensor(y_test_scaled).reshape(-1, 1).float()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "p6INgMk6ggIn"
   },
   "source": [
    "Реализуйте в классе `MLPPredictor` с помощью полносвязных слоёв `nn.Linear` многослойный персептрон. В качестве промежуточных функций активации используйте `nn.ReLU()`, а поскольку решается задача прогнозирования вещественных данных, на выходе сети функцию активации можно не добавлять."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "Cg-m7jZNggIn"
   },
   "outputs": [],
   "source": [
    "class MLPPredictor(nn.Module):\n",
    "    def __init__(self, input_size):\n",
    "        super().__init__()\n",
    "        self.seq = nn.Sequential(\n",
    "            # Ваш код здесь\n",
    "        )\n",
    "\n",
    "    def forward(self, x):\n",
    "        return self.seq(x)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "YPF9PyDcycNn"
   },
   "source": [
    "Создайте экземпляр модели:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "T2WBlrBMhA08",
    "outputId": "41040db9-10fe-4705-e27a-9f42ebd7ac4f"
   },
   "outputs": [],
   "source": [
    "model_mlp = MLPPredictor(input_size=seq_length)\n",
    "model_mlp"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "CTVh4iOjggIp"
   },
   "source": [
    "Проверим, как модель обучается. Зададим оптимизатор и среднеквадратическую функцию потерь:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "VGWgT-_UKY5S"
   },
   "outputs": [],
   "source": [
    "optimizer = torch.optim.SGD(model_mlp.parameters(), lr=0.01)\n",
    "criterion = nn.MSELoss()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "-YGsKE_SggIp"
   },
   "source": [
    "Рассчитаем значение функции потерь:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "8qFQWNrMZyzM",
    "outputId": "a7e21b4c-425d-46c5-8406-1a27c6c193ef"
   },
   "outputs": [],
   "source": [
    "pred_mlp_train = model_mlp(X_train_tensor)\n",
    "\n",
    "loss = criterion(pred_mlp_train, y_train_tensor)\n",
    "loss"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "drYc365KggIq"
   },
   "source": [
    "Выполните несколько раз эту и предыдущую ячейку, чтобы убедиться в уменьшении ошибки:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "UlggYk-KbfnF"
   },
   "outputs": [],
   "source": [
    "loss.backward()\n",
    "optimizer.step()\n",
    "optimizer.zero_grad()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "F1hRU9Uj07TE"
   },
   "source": [
    "Задайте параметры для обучения нейронной сети:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "nkJ3lGsgggIr"
   },
   "outputs": [],
   "source": [
    "# Перебор seed для инициализации параметров\n",
    "torch.manual_seed(seed=42)\n",
    "\n",
    "model_mlp = # Ваш код здесь\n",
    "\n",
    "epochs = # Ваш код здесь\n",
    "\n",
    "learning_rate = # Ваш код здесь\n",
    "momentum = # Ваш код здесь\n",
    "\n",
    "optimizer = # Ваш код здесь\n",
    "criterion = # Ваш код здесь"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "9rpN21H-ggIs"
   },
   "source": [
    "**Обучение нейронной сети:**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "4tZGNdtWggIs"
   },
   "outputs": [],
   "source": [
    "loss_train_history, loss_valid_history = [], []\n",
    "\n",
    "for epoch in range(epochs):\n",
    "    # Ваш код здесь\n",
    "\n",
    "    if (epoch + 1) % 5 == 0:\n",
    "\n",
    "        clear_output(True)\n",
    "        plt.plot(range(1, epoch+2), loss_train_history, label='Train', color='green')\n",
    "        plt.plot(range(1, epoch+2), loss_valid_history, label='Valid', color='red')\n",
    "        plt.title(f'Epoch: {epoch + 1}, Loss Train: {loss_train_history[-1]:.6f}, Loss Valid: {loss_valid_history[-1]:.6f}')\n",
    "        plt.grid(True, alpha=0.3)\n",
    "        plt.legend(loc='best')\n",
    "        plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "RbvISk2MfSC5"
   },
   "source": [
    "## 4. Сравнение моделей<a id=\"p_4\"></a>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "CDKiO9MDggIt"
   },
   "source": [
    "Получим прогнозы на тестовой выборке от РБФ-сети и многослойного персептрона:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "tKZ0sdh0eB91"
   },
   "outputs": [],
   "source": [
    "pred_rbf_test = model_rbf.predict(X_test_scaled)\n",
    "\n",
    "with torch.no_grad():\n",
    "    pred_mlp_test = model_mlp(X_test_tensor).squeeze().numpy()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "UA_BcjAjggIu"
   },
   "source": [
    "Поскольку обучение шло на нормированных или стандартизированных данных, приведём прогнозы к исходной шкале и рассчитаем среднеквадратическую ошибку:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "tl6X5LGZfjOY",
    "outputId": "bef46cea-f16c-41a2-8f12-8f3e967a5ac3"
   },
   "outputs": [],
   "source": [
    "pred_rbf_test_descaled = (pred_rbf_test  * y_std + y_mean)\n",
    "pred_mlp_test_descaled = (pred_mlp_test  * y_std + y_mean)\n",
    "\n",
    "print('Loss')\n",
    "print(f'RBF: {mse(pred_rbf_test_descaled, y_test):.6f}')\n",
    "print(f'MLP: {mse(pred_mlp_test_descaled, y_test):.6f}')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "oLOykwtViDsY"
   },
   "source": [
    "Построим графики прогнозов для сравнения с исходными тестовыми данными:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 303
    },
    "id": "b0IlMe5EjpNl",
    "outputId": "6fa95c1b-3756-41fe-f020-358c07dd6b8c"
   },
   "outputs": [],
   "source": [
    "plt.figure(figsize=(12, 4))\n",
    "\n",
    "plt.plot(y_test, label='True Values')\n",
    "plt.plot(pred_rbf_test_descaled, label='RBF Pred')\n",
    "plt.plot(pred_mlp_test_descaled, label='MLP Pred')\n",
    "plt.grid(True, alpha=0.3)\n",
    "plt.legend(loc='best')\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Vs0-pqwUnqlL"
   },
   "source": [
    "## 5. Прогнозирование курса доллара<a id=\"p_5\"></a>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "4Od-qc-cnqqe"
   },
   "source": [
    "По аналогии с отображением Хенона самостоятельно реализуйте прогнозирование курса доллара.\n",
    "\n",
    "Для этого скачайте актуальную информацию по курсу с сайта http://www.cbr.ru в формате '.xlsx'.\n",
    "\n",
    "Введите в виже строки имя скачанного файла с расширением:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "Z0OkaJZ8ggIw"
   },
   "outputs": [],
   "source": [
    "dollar_course_filename = # Ваш код здесь"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "cIxIxznLggIx"
   },
   "source": [
    "Загрузим данные в массив NumPy:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "oDN_CihKC4SB",
    "outputId": "14391340-b0b6-4017-8771-f54f6306ce71"
   },
   "outputs": [],
   "source": [
    "dollar_data = pd.read_excel(dollar_course_filename).curs[::-1]\n",
    "\n",
    "# По необходимости можно сгладить данные скользящим окном -\n",
    "# в данном случае берём среднее за 7 дней\n",
    "dollar_data = dollar_data.rolling(window=7).mean().dropna()\n",
    "\n",
    "dollar_data = dollar_data.values"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "_HnJACO1ggIy"
   },
   "outputs": [],
   "source": [
    "# Ваш код здесь"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "mwXH9dIBggI4"
   },
   "source": [
    "### Литература:\n",
    "1. Бородкин А.А., Елисеев В.Л. Основы и применение искусственных нейронных сетей. Сборник лабораторных работ: методическое пособие. – М.: Издательский дом МЭИ, 2017.\n",
    "2. MachineLearning.ru  —  профессиональный информационно-аналитический ресурс, посвященный машинному обучению, распознаванию образов и интеллектуальному анализу данных: http://www.machinelearning.ru\n",
    "3. Modern State of Artificial Intelligence  —  Online Masters program at MIPT: https://girafe.ai/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Je7Xm08vggI5"
   },
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}