diff --git a/lab3/3.2_rbf.ipynb b/lab3/3.2_rbf.ipynb new file mode 100644 index 0000000..0a14624 --- /dev/null +++ b/lab3/3.2_rbf.ipynb @@ -0,0 +1,971 @@ +{ + "cells": [ + { + "cell_type": "markdown", + "metadata": { + "id": "AoAuVqmYggH6" + }, + "source": [ + "### ЛАБОРАТОРНАЯ РАБОТА №3\n", + "## Применение многослойного персептрона. Автоассоциативная ИНС" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "32GlCnm4ggH9" + }, + "source": [ + "> Цель работы: знакомство с применением многослойного персептрона для решения задач сжатия данных, прогнозирования временных рядов и распознавания образов.\n", + ">\n", + "> Задание\n", + "> 1. Открыть файл с данными по минеральной воде, который использовался при решении задач классификации в предыдущей лабораторной работе. Построить и обучить автоассоциативные нейронные сети с 2-мя и 3-мя нейронами в скрытом слое: \n", + "> а) для исходных данных из 5-ти классов; \n", + "> б) для исходных данных из 4-х классов. \n", + "> Провести визуализацию данных в скрытом слое каждой сети на плоскость и в 3-х мерное пространство. Проанализировать полученные результаты. Выбрать и сохранить автоассоциативные ИНС, обеспечивающие наилучшее сжатие исходных данных. \n", + "> 2. Исследовать возможности ИНС по прогнозированию поведения нелинейных динамических систем (построение странного аттрактора) на примере отображения Хенона. Аттрактор Хенона может быть получен из уравнений $x_{n+1} = 1 - \\alpha x_{n}^2 + y_{n}$ и $y_{n+1} = \\beta x_{n}$, где $α = 1.4$, $β = 0.3$.\n", + "> Для прогнозирования предлагается использовать многослойный персептрон и сеть с радиально-базисными функциями.\n", + "> Постройте также прогноз курса доллара на один день вперед. В качестве исходных данных загрузить актуальные данные с сайта центрального банка России (http://www.cbr.ru).\n", + "> 3. Решить задачу распознавания 9-ти изображений самолетов. Исходные данные (файлы avia1.bmp, …, avia9.bmp) необходимо предварительно преобразовать в набор векторов со значениями признаков 0 или 1. Обученная нейронная сеть должна правильно определять модель самолета и его класс (истребитель/бомбардировщик). Принадлежность модели к определенному классу выбирается студентом самостоятельно." + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "k_B6wp5VggH_" + }, + "source": [ + "Импорт библиотек:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "tHv-NgtJ30SO" + }, + "outputs": [], + "source": [ + "import numpy as np\n", + "import pandas as pd\n", + "import matplotlib.pyplot as plt\n", + "import torch\n", + "from IPython.display import clear_output\n", + "from torch import nn\n", + "from sklearn.cluster import KMeans\n", + "from sklearn.linear_model import LinearRegression\n", + "\n", + "%matplotlib inline" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "4vwZ6H2DggIB" + }, + "source": [ + "Среднеквадратическая ошибка:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "OGGq8mjQggIC" + }, + "outputs": [], + "source": [ + "def mse(y_pred, y_true):\n", + " return np.mean((y_pred - y_true) ** 2)" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "### Содержание: \n", + "[1. Подготовка данных](#p_1) \n", + "[2. Сеть с радиально-базисными функциями](#p_2) \n", + "[3. Многослойный персептрон](#p_3) \n", + "[4. Сравнение моделей](#p_4) \n", + "[5. Прогнозирование курса доллара](#p_5)" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "iaKX-JW9ggIC" + }, + "source": [ + "## 1. Подготовка данных" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "C4MQNIvaggIC" + }, + "source": [ + "Функция с реализацией отображения Хенона — уравнения $x_{n+1} = 1 - \\alpha x_{n}^2 + y_{n}$ и $y_{n+1} = \\beta x_{n}$, где $α = 1.4$, $β = 0.3$:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "3nMMP4Zj1Bwu" + }, + "outputs": [], + "source": [ + "def xenon_map(x=0, y=0, alpha=1.4, beta=0.3):\n", + " x_next = 1 - alpha * x ** 2 + y\n", + " y_next = beta * x\n", + " return x_next, y_next" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "9HXiFkDoggID" + }, + "source": [ + "Укажите количество точек во временном ряде, который будет получен из отображения Хенона:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "BUgZtjUyggID" + }, + "outputs": [], + "source": [ + "n_points = # Ваш код здесь" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "XPr65SPMggIE" + }, + "source": [ + "Сгенерируем необходимое количество точек — помним, что нужна только переменная $x$:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "iJQi12wm22eR" + }, + "outputs": [], + "source": [ + "x, y = 0, 0\n", + "xenon_data = []\n", + "for i in range(n_points):\n", + " x, y = xenon_map(x, y)\n", + " xenon_data.append(x)" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "vKcPkUDCggIF" + }, + "source": [ + "Поскольку исходная задача является задачей прогнозирования, то обучающая выборка должна включать в себя первый участок временного ряда, на котором будет обучаться модель. Валидационная выборка, на которой мы оцениваем качество предсказания модели, всегда должна идти после обучающей (аналогично с тестовой).\n", + "\n", + "Выделим, к примеру, первые 70% данных временного ряда `xenon_data` для обучающей выборки, следующие данные по 15% отнесём к вылидационной и тестовой выборкам (вторая и третья части данных соответственно):" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "1ZMHrs0c4Ihy" + }, + "outputs": [], + "source": [ + "train_size = int(0.7 * n_points)\n", + "valid_size = int(0.15 * n_points)" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "JDK1n0N-ggIF" + }, + "source": [ + "Представим данные для выборок на графике:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "colab": { + "base_uri": "https://localhost:8080/", + "height": 430 + }, + "id": "fcaFy3iWjeQQ", + "outputId": "64abe542-cee1-4183-b616-6c7e9c41118e" + }, + "outputs": [], + "source": [ + "plt.plot(xenon_data, color='k', label='Xenon Data')\n", + "plt.axvspan(0, train_size, alpha=0.35, color='blue', label='Train')\n", + "plt.axvspan(train_size, train_size+valid_size, alpha=0.35, color='orange', label='Valid')\n", + "plt.axvspan(train_size+valid_size, n_points, alpha=0.35, color='green', label='Test')\n", + "plt.legend(loc='best')\n", + "plt.grid(True, alpha=0.3)\n", + "plt.show()" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "pej4dfNRggIG" + }, + "source": [ + "Пройдём с единичным шагом по всем данным `xenon_data` скользящим окном длиною `seq_length`(например, длиною 10). Таким образом сформируем пары «вход‑выход» для модели:\n", + " - `X_data`: последовательности из `seq_length` элементов (скользящее окно по `xenon_data`),\n", + " - `y_data`: элемент, следующий сразу за каждой последовательностью в `X_data`.\n", + "\n", + "***Примечание***. С помощью `[:-1]` мы убираем в `X_data` последнее окно, для которого нет «следующего значения» в `y_data`." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "C2KR8vptSKVH" + }, + "outputs": [], + "source": [ + "seq_length = 10\n", + "\n", + "X_data = np.lib.stride_tricks.sliding_window_view(xenon_data, window_shape=seq_length)[:-1]\n", + "y_data = xenon_data[seq_length:]" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "wM5lRDRnLWY4" + }, + "source": [ + "Посмотрим конец полученных данных. Видно, что последнее значение `y_data` не включено в окна из `X_data`:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "colab": { + "base_uri": "https://localhost:8080/" + }, + "id": "13yK1ZsbUfWk", + "outputId": "5e86b1ee-c455-4087-f1c9-b1accff382fd" + }, + "outputs": [], + "source": [ + "X_data[-2:]" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "colab": { + "base_uri": "https://localhost:8080/" + }, + "id": "5639fOPUTl2Q", + "outputId": "483d2e6d-36e5-4d4a-cbed-726dc0ed4eec" + }, + "outputs": [], + "source": [ + "y_data[-4:]" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "04Pd841VggII" + }, + "source": [ + "Длина наших данных — без учёта последнего значения:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "k62uvZDNONY1" + }, + "outputs": [], + "source": [ + "assert len(X_data) == len(y_data) == n_points - seq_length" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "v8vK2daVggIJ" + }, + "source": [ + "Разделим данные на обучающую, валидационную и тестовую выборку по заданному выше соотношению 70%/15%/15%:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "jvRzLs7rS9QF" + }, + "outputs": [], + "source": [ + "X_train, X_valid, X_test = X_data[:train_size], X_data[train_size:train_size+valid_size], X_data[train_size+valid_size:]\n", + "y_train, y_valid, y_test = y_data[:train_size], y_data[train_size:train_size+valid_size], y_data[train_size+valid_size:]" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "i4VgXIcRV91m" + }, + "source": [ + "Отнормируйте или отстанлартизируйте входные и выходные данные.\n", + "\n", + "Поскольку нормирующие или стандартизирующие величины (минимум, максимум, среднее, СКО) всегда расчитываются только по значениям обучающей выборки, берём из исходных данных `xenon_data` также значения, которые попадут в последнее окно (и снова исключаем самое последнее значение):" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "fjN96i_1ggIJ" + }, + "outputs": [], + "source": [ + "X_mean = np.mean(xenon_data[:train_size+seq_length-1])\n", + "X_std = np.std(xenon_data[:train_size+seq_length-1], ddof=1)\n", + "y_mean = np.mean(y_data[:train_size])\n", + "y_std = np.std(y_data[:train_size], ddof=1)\n", + "\n", + "X_train_scaled = # Ваш код здесь\n", + "X_valid_scaled = # Ваш код здесь\n", + "X_test_scaled = # Ваш код здесь\n", + "\n", + "y_train_scaled = # Ваш код здесь\n", + "y_valid_scaled = # Ваш код здесь\n", + "y_test_scaled = # Ваш код здесь" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "gGVJqQGUggIK" + }, + "source": [ + "## 2. Сеть с радиально-базисными функциями" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "xm61W3LPggIK" + }, + "source": [ + "РБФ-сеть (Radial Basis Function Network, RBF) — это нейронная сеть, которая использует радиально-базисные функции в качестве функций активации нейронов скрытого слоя. Архитектура такой сети обычно включает три слоя:\n", + " - Входной слой — принимает входные данные (значения временного ряда).\n", + " - Скрытый слой — содержит нейроны с радиальными базисными функциями. Каждый нейрон вычисляет расстояние между входным вектором и заранее определённым центром функции, а затем преобразует это расстояние с помощью радиальной функции.\n", + " - Выходной слой — линейно комбинирует (взвешенно суммирует) выходы скрытых нейронов, чтобы получить итоговый результат.\n", + "\n", + "Таким образом, выходной сигнал РБФ‑сети вычисляется по формуле:\n", + "\n", + "$$\n", + "y(\\mathbf{x}) = \\sum_{j=1}^{H} w_j \\cdot \\phi(\\|\\mathbf{x} - \\mathbf{c}_j\\|_2)\n", + "$$\n", + "где:\n", + "* $y(\\mathbf{x})$ — выходной сигнал сети для входного вектора $\\mathbf{x}$;\n", + "* $H$ — количество нейронов в скрытом слое;\n", + "* $w_j$ — вес связи от $j$-го нейрона скрытого слоя к выходному слою;\n", + "* $\\mathbf{c}_j$ — центр $j$-й радиально-базисной функции;\n", + "* $\\phi$ — радиально-базисная функция;\n", + "* $\\|\\mathbf{x} - \\mathbf{c}_j\\|_2$ — евклидово расстояние между входным вектором $\\mathbf{x}$ и центром $\\mathbf{c}_j$.\n", + "\n", + "Радиально-базисная функция — это функция, которая зависит только от расстояния между входным вектором и центром функции. Чаще всего используется гауссова функция:\n", + "$$\n", + "\\phi(r) = \\exp\\left(-\\frac{r^2}{2\\sigma^2}\\right)\n", + "$$\n", + "где $r = \\|\\mathbf{x} - \\mathbf{c}\\|_2$, $\\sigma$ — параметр ширины окна.\n", + "\n", + "Обучение РБФ‑сетей обычно проходит в два этапа:\n", + "\n", + "1. Определение параметров радиально-базисной функции (центров $\\mathbf{c}_i$ и ширин $\\sigma_i$):\n", + " * кластеризация (например, k‑means) для нахождения центров;\n", + " * эвристические методы или кросс‑валидация для ширин.\n", + "\n", + "2. Обучение выходных весов $w_j$:\n", + " * решение задачи линейной регрессии (с использованием обучения с учителем, например, методом наименьших квадратов или градиентного спуска).\n", + " \n", + "Таким образом, на первом этапе сеть определяет, где в пространстве признаков сосредоточены основные закономерности данных. Для этого, например, используются алгоритмы кластеризации: объекты (значения временного ряда) внутри одного кластера получатся максимально похожи друг на друга, а объекты разных классов — максимально различны (т.о. определим важные зоны или паттерны ряда).\n", + "\n", + "После определения центров сеть анализирует, как каждая точка соотносится с ними. Это показывает гауссова РБФ — для каждой точки вычисляется расстояние до каждого из центров, и чем ближе точка к центру, тем выше значение функции (близко к 1), а также наоборот — чем дальше точка к центру, тем ниже (РБФ стремится к 0). Для каждой точки получается вектор активаций — набор чисел, показывающих, насколько она «похожа» на каждый из центров. Так, точка между двумя центрами даст средние значения для обоих, а точка рядом с одним центром — высокое значение для него и низкие для остальных.\n", + "\n", + "На этих активациях для получения весов между скрытым и выходным слоями обучается линейная регрессия. Она находит оптимальные веса для каждого выхода скрытого слоя: какие локальные паттерны важнее для прогноза, какие — менее значимы." + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "2y2jya41ggIL" + }, + "source": [ + "Реализуем с помощью класса `RBFPredictor` РБФ-сеть с описанной выше архитектурой.\n", + "\n", + "При инициализации (`.__init__()`) задаётся `n_centers` — число центров (нейронов скрытого слоя), устанавливается параметр ширины окна `sigma` для гауссовой функции, создаётся модель линейной регрессии `linear_model` для выходного слоя (взята из библиотеки sklearn).\n", + "\n", + "Выбор `n_centers` центров из входных данных происходит в методе `.fit()`. Для этого используется алгоритм k‑means (взят из библиотеки sklearn).\n", + "\n", + "Далее в скрытом слое (метод `._radial_basis()`) для каждого входного вектора (объекта) вычисляются расстояния до всех центров. Расстояния преобразуются в значения гауссовой РБФ. На выходе получается матрица активаций размером (число объектов, число центров).\n", + "\n", + "На данной матрице активаций скрытого слоя `phi` и целевых значениях `y` обучается модель линейной регрессии `linear_model`. Веса регрессии становятся весами связей от скрытого слоя к выходному.\n", + "\n", + "При прогнозировании (метод `.predict()`) для новых данных вычисляются активации скрытого слоя (через гауссовы РБФ относительно тех же центров), а обученная линейная модель применяет веса к этим активациям и выдаёт финальный прогноз." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "yjn8NBbYXA5p" + }, + "outputs": [], + "source": [ + "class RBFPredictor:\n", + " def __init__(self, n_centers, sigma=1.0):\n", + " self.n_centers = n_centers\n", + " self.sigma = sigma\n", + " self.centers = None\n", + " self.linear_model = LinearRegression()\n", + "\n", + "\n", + " def _radial_basis(self, X, centers):\n", + " distances = np.zeros((X.shape[0], centers.shape[0]))\n", + " for i, center in enumerate(centers):\n", + " distances[:, i] = np.sqrt(np.sum((X - center) ** 2, axis=1))\n", + " return np.exp(-(distances ** 2) / (2 * self.sigma ** 2))\n", + "\n", + "\n", + " def fit(self, X, y):\n", + " # Выбираем центры с помощью кластеризации\n", + " kmeans = KMeans(n_clusters=self.n_centers, random_state=42)\n", + " self.centers = kmeans.fit(X).cluster_centers_\n", + " # Вычисляем выход скрытого слоя\n", + " phi = self._radial_basis(X, self.centers)\n", + " # Обучаем линейный выходной слой\n", + " self.linear_model.fit(phi, y)\n", + "\n", + "\n", + " def predict(self, X):\n", + " phi = self._radial_basis(X, self.centers)\n", + " return self.linear_model.predict(phi)" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "2IAX5UXUggIL" + }, + "source": [ + "Обучите модель `model_rbf`. Для этого подберите подходящее количество центров `n_centers` и ширину окна `sigma`." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "a5RQRqH5ggIM" + }, + "outputs": [], + "source": [ + "model_rbf = RBFPredictor(\n", + " # Ваш код здесь\n", + ")\n", + "\n", + "model_rbf.fit(X_train_scaled, y_train_scaled)" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "bOlEYLHGggIN" + }, + "source": [ + "При подборе добейтесь примерно одинаковой (или хотя бы сопоставимой) ошибки на обучающей и вадилационной выборках:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "colab": { + "base_uri": "https://localhost:8080/" + }, + "id": "T1RLJMCyivU1", + "outputId": "00671844-3026-4302-ecfc-0130c6f840f0" + }, + "outputs": [], + "source": [ + "pred_rbf_train = model_rbf.predict(X_train_scaled)\n", + "pred_rbf_valid = model_rbf.predict(X_valid_scaled)\n", + "\n", + "print('Loss')\n", + "print(f'Train: {mse(pred_rbf_train, y_train_scaled):.6f}')\n", + "print(f'Valid: {mse(pred_rbf_valid, y_valid_scaled):.6f}')" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "NLZo9mQKggIm" + }, + "source": [ + "Проверка `model_rbf` на тестовых данных будет ниже." + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "G2kFrJUAmWRz" + }, + "source": [ + "## 3. Многослойный персептрон" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "3kvNrdq3ggIn" + }, + "source": [ + "Представим входные и выходные данные в виде тензоров PyTorch:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "-GkRe60zptZd" + }, + "outputs": [], + "source": [ + "X_train_tensor = torch.tensor(X_train_scaled).float()\n", + "y_train_tensor = torch.tensor(y_train_scaled).reshape(-1, 1).float()\n", + "X_valid_tensor = torch.tensor(X_valid_scaled).float()\n", + "y_valid_tensor = torch.tensor(y_valid_scaled).reshape(-1, 1).float()\n", + "X_test_tensor = torch.tensor(X_test_scaled).float()\n", + "y_test_tensor = torch.tensor(y_test_scaled).reshape(-1, 1).float()" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "p6INgMk6ggIn" + }, + "source": [ + "Реализуйте в классе `MLPPredictor` с помощью полносвязных слоёв `nn.Linear` многослойный персептрон. В качестве промежуточных функций активации используйте `nn.ReLU()`, а поскольку решается задача прогнозирования вещественных данных, на выходе сети функцию активации можно не добавлять." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "Cg-m7jZNggIn" + }, + "outputs": [], + "source": [ + "class MLPPredictor(nn.Module):\n", + " def __init__(self, input_size):\n", + " super().__init__()\n", + " self.seq = nn.Sequential(\n", + " # Ваш код здесь\n", + " )\n", + "\n", + " def forward(self, x):\n", + " return self.seq(x)" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "YPF9PyDcycNn" + }, + "source": [ + "Создайте экземпляр модели:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "colab": { + "base_uri": "https://localhost:8080/" + }, + "id": "T2WBlrBMhA08", + "outputId": "41040db9-10fe-4705-e27a-9f42ebd7ac4f" + }, + "outputs": [], + "source": [ + "model_mlp = MLPPredictor(input_size=seq_length)\n", + "model_mlp" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "CTVh4iOjggIp" + }, + "source": [ + "Проверим, как модель обучается. Зададим оптимизатор и среднеквадратическую функцию потерь:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "VGWgT-_UKY5S" + }, + "outputs": [], + "source": [ + "optimizer = torch.optim.SGD(model_mlp.parameters(), lr=0.01)\n", + "criterion = nn.MSELoss()" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "-YGsKE_SggIp" + }, + "source": [ + "Рассчитаем значение функции потерь:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "colab": { + "base_uri": "https://localhost:8080/" + }, + "id": "8qFQWNrMZyzM", + "outputId": "a7e21b4c-425d-46c5-8406-1a27c6c193ef" + }, + "outputs": [], + "source": [ + "pred_mlp_train = model_mlp(X_train_tensor)\n", + "\n", + "loss = criterion(pred_mlp_train, y_train_tensor)\n", + "loss" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "drYc365KggIq" + }, + "source": [ + "Выполните несколько раз эту и предыдущую ячейку, чтобы убедиться в уменьшении ошибки:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "UlggYk-KbfnF" + }, + "outputs": [], + "source": [ + "loss.backward()\n", + "optimizer.step()\n", + "optimizer.zero_grad()" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "F1hRU9Uj07TE" + }, + "source": [ + "Задайте параметры для обучения нейронной сети:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "nkJ3lGsgggIr" + }, + "outputs": [], + "source": [ + "# Перебор seed для инициализации параметров\n", + "torch.manual_seed(seed=42)\n", + "\n", + "model_mlp = # Ваш код здесь\n", + "\n", + "epochs = # Ваш код здесь\n", + "\n", + "learning_rate = # Ваш код здесь\n", + "momentum = # Ваш код здесь\n", + "\n", + "optimizer = # Ваш код здесь\n", + "criterion = # Ваш код здесь" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "9rpN21H-ggIs" + }, + "source": [ + "**Обучение нейронной сети:**" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "4tZGNdtWggIs" + }, + "outputs": [], + "source": [ + "loss_train_history, loss_valid_history = [], []\n", + "\n", + "for epoch in range(epochs):\n", + " # Ваш код здесь\n", + "\n", + " if (epoch + 1) % 5 == 0:\n", + "\n", + " clear_output(True)\n", + " plt.plot(range(1, epoch+2), loss_train_history, label='Train', color='green')\n", + " plt.plot(range(1, epoch+2), loss_valid_history, label='Valid', color='red')\n", + " plt.title(f'Epoch: {epoch + 1}, Loss Train: {loss_train_history[-1]:.6f}, Loss Valid: {loss_valid_history[-1]:.6f}')\n", + " plt.grid(True, alpha=0.3)\n", + " plt.legend(loc='best')\n", + " plt.show()" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "RbvISk2MfSC5" + }, + "source": [ + "## 4. Сравнение моделей" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "CDKiO9MDggIt" + }, + "source": [ + "Получим прогнозы на тестовой выборке от РБФ-сети и многослойного персептрона:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "tKZ0sdh0eB91" + }, + "outputs": [], + "source": [ + "pred_rbf_test = model_rbf.predict(X_test_scaled)\n", + "\n", + "with torch.no_grad():\n", + " pred_mlp_test = model_mlp(X_test_tensor).squeeze().numpy()" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "UA_BcjAjggIu" + }, + "source": [ + "Поскольку обучение шло на нормированных или стандартизированных данных, приведём прогнозы к исходной шкале и рассчитаем среднеквадратическую ошибку:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "colab": { + "base_uri": "https://localhost:8080/" + }, + "id": "tl6X5LGZfjOY", + "outputId": "bef46cea-f16c-41a2-8f12-8f3e967a5ac3" + }, + "outputs": [], + "source": [ + "pred_rbf_test_descaled = (pred_rbf_test * y_std + y_mean)\n", + "pred_mlp_test_descaled = (pred_mlp_test * y_std + y_mean)\n", + "\n", + "print('Loss')\n", + "print(f'RBF: {mse(pred_rbf_test_descaled, y_test):.6f}')\n", + "print(f'MLP: {mse(pred_mlp_test_descaled, y_test):.6f}')" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "oLOykwtViDsY" + }, + "source": [ + "Построим графики прогнозов для сравнения с исходными тестовыми данными:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "colab": { + "base_uri": "https://localhost:8080/", + "height": 303 + }, + "id": "b0IlMe5EjpNl", + "outputId": "6fa95c1b-3756-41fe-f020-358c07dd6b8c" + }, + "outputs": [], + "source": [ + "plt.figure(figsize=(12, 4))\n", + "\n", + "plt.plot(y_test, label='True Values')\n", + "plt.plot(pred_rbf_test_descaled, label='RBF Pred')\n", + "plt.plot(pred_mlp_test_descaled, label='MLP Pred')\n", + "plt.grid(True, alpha=0.3)\n", + "plt.legend(loc='best')\n", + "\n", + "plt.show()" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "Vs0-pqwUnqlL" + }, + "source": [ + "## 5. Прогнозирование курса доллара" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "4Od-qc-cnqqe" + }, + "source": [ + "По аналогии с отображением Хенона самостоятельно реализуйте прогнозирование курса доллара.\n", + "\n", + "Для этого скачайте актуальную информацию по курсу с сайта http://www.cbr.ru в формате '.xlsx'.\n", + "\n", + "Введите в виже строки имя скачанного файла с расширением:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "Z0OkaJZ8ggIw" + }, + "outputs": [], + "source": [ + "dollar_course_filename = # Ваш код здесь" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "cIxIxznLggIx" + }, + "source": [ + "Загрузим данные в массив NumPy:" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "colab": { + "base_uri": "https://localhost:8080/" + }, + "id": "oDN_CihKC4SB", + "outputId": "14391340-b0b6-4017-8771-f54f6306ce71" + }, + "outputs": [], + "source": [ + "dollar_data = pd.read_excel(dollar_course_filename).curs[::-1]\n", + "\n", + "# По необходимости можно сгладить данные скользящим окном -\n", + "# в данном случае берём среднее за 7 дней\n", + "dollar_data = dollar_data.rolling(window=7).mean().dropna()\n", + "\n", + "dollar_data = dollar_data.values" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "_HnJACO1ggIy" + }, + "outputs": [], + "source": [ + "# Ваш код здесь" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "mwXH9dIBggI4" + }, + "source": [ + "### Литература:\n", + "1. Бородкин А.А., Елисеев В.Л. Основы и применение искусственных нейронных сетей. Сборник лабораторных работ: методическое пособие. – М.: Издательский дом МЭИ, 2017.\n", + "2. MachineLearning.ru — профессиональный информационно-аналитический ресурс, посвященный машинному обучению, распознаванию образов и интеллектуальному анализу данных: http://www.machinelearning.ru\n", + "3. Modern State of Artificial Intelligence — Online Masters program at MIPT: https://girafe.ai/" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "Je7Xm08vggI5" + }, + "source": [] + } + ], + "metadata": { + "colab": { + "provenance": [] + }, + "kernelspec": { + "display_name": "Python 3", + "language": "python", + "name": "python3" + }, + "language_info": { + "codemirror_mode": { + "name": "ipython", + "version": 3 + }, + "file_extension": ".py", + "mimetype": "text/x-python", + "name": "python", + "nbconvert_exporter": "python", + "pygments_lexer": "ipython3", + "version": "3.7.3" + } + }, + "nbformat": 4, + "nbformat_minor": 1 +}