{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "gpuType": "T4"
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "source": [
        "## Задание 1"
      ],
      "metadata": {
        "id": "oZs0KGcz01BY"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 1) В среде Google Colab создали новый блокнот (notebook). Импортировали необходимые для работы библиотеки и модули."
      ],
      "metadata": {
        "id": "gz18QPRz03Ec"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# импорт модулей\n",
        "import os\n",
        "os.chdir('/content/drive/MyDrive/Colab Notebooks/is_lab3')\n",
        "\n",
        "from tensorflow import keras\n",
        "from tensorflow.keras import layers\n",
        "from tensorflow.keras.models import Sequential\n",
        "import matplotlib.pyplot as plt\n",
        "import numpy as np\n",
        "from sklearn.metrics import classification_report, confusion_matrix\n",
        "from sklearn.metrics import ConfusionMatrixDisplay"
      ],
      "metadata": {
        "id": "mr9IszuQ1ANG"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 2) Загрузили набор данных MNIST, содержащий размеченные изображения рукописных цифр.  "
      ],
      "metadata": {
        "id": "FFRtE0TN1AiA"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# загрузка датасета\n",
        "from keras.datasets import mnist\n",
        "(X_train, y_train), (X_test, y_test) = mnist.load_data()"
      ],
      "metadata": {
        "id": "Ixw5Sp0_1A-w"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 3) Разбили набор данных на обучающие и тестовые данные в соотношении 60 000:10 000 элементов. Параметр random_state выбрали равным (4k – 1)=23, где k=6 –номер бригады. Вывели размерности полученных обучающих и тестовых массивов данных."
      ],
      "metadata": {
        "id": "aCo_lUXl1BPV"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# создание своего разбиения датасета\n",
        "from sklearn.model_selection import train_test_split\n",
        "\n",
        "# объединяем в один набор\n",
        "X = np.concatenate((X_train, X_test))\n",
        "y = np.concatenate((y_train, y_test))\n",
        "\n",
        "# разбиваем по вариантам\n",
        "X_train, X_test, y_train, y_test = train_test_split(X, y,\n",
        "                                                    test_size = 10000,\n",
        "                                                    train_size = 60000,\n",
        "                                                    random_state = 23)\n",
        "# вывод размерностей\n",
        "print('Shape of X train:', X_train.shape)\n",
        "print('Shape of y train:', y_train.shape)\n",
        "print('Shape of X test:', X_test.shape)\n",
        "print('Shape of y test:', y_test.shape)"
      ],
      "metadata": {
        "id": "BrSjcpEe1BeV"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 4) Провели предобработку данных: привели обучающие и тестовые данные к формату, пригодному для обучения сверточной нейронной сети. Входные данные принимают значения от 0 до 1, метки цифр закодированы по принципу «one-hot encoding». Вывели размерности предобработанных обучающих и тестовых массивов данных."
      ],
      "metadata": {
        "id": "4hclnNaD1BuB"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Зададим параметры данных и модели\n",
        "num_classes = 10\n",
        "input_shape = (28, 28, 1)\n",
        "\n",
        "# Приведение входных данных к диапазону [0, 1]\n",
        "X_train = X_train / 255\n",
        "X_test = X_test / 255\n",
        "\n",
        "# Расширяем размерность входных данных, чтобы каждое изображение имело\n",
        "# размерность (высота, ширина, количество каналов)\n",
        "\n",
        "X_train = np.expand_dims(X_train, -1)\n",
        "X_test = np.expand_dims(X_test, -1)\n",
        "print('Shape of transformed X train:', X_train.shape)\n",
        "print('Shape of transformed X test:', X_test.shape)\n",
        "\n",
        "# переведем метки в one-hot\n",
        "y_train = keras.utils.to_categorical(y_train, num_classes)\n",
        "y_test = keras.utils.to_categorical(y_test, num_classes)\n",
        "print('Shape of transformed y train:', y_train.shape)\n",
        "print('Shape of transformed y test:', y_test.shape)"
      ],
      "metadata": {
        "id": "xJH87ISq1B9h"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 5) Реализовали модель сверточной нейронной сети и обучили ее на обучающих данных с выделением части обучающих данных в качестве валидационных. Вывели информацию об архитектуре нейронной сети."
      ],
      "metadata": {
        "id": "7x99O8ig1CLh"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# создаем модель\n",
        "model = Sequential()\n",
        "model.add(layers.Conv2D(32, kernel_size=(3, 3), activation=\"relu\", input_shape=input_shape))\n",
        "model.add(layers.MaxPooling2D(pool_size=(2, 2)))\n",
        "model.add(layers.Conv2D(64, kernel_size=(3, 3), activation=\"relu\"))\n",
        "model.add(layers.MaxPooling2D(pool_size=(2, 2)))\n",
        "model.add(layers.Dropout(0.5))\n",
        "model.add(layers.Flatten())\n",
        "model.add(layers.Dense(num_classes, activation=\"softmax\"))\n",
        "\n",
        "model.summary()"
      ],
      "metadata": {
        "id": "Un561zSH1Cmv"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# компилируем и обучаем модель\n",
        "batch_size = 512\n",
        "epochs = 15\n",
        "model.compile(loss=\"categorical_crossentropy\", optimizer=\"adam\", metrics=[\"accuracy\"])\n",
        "model.fit(X_train, y_train, batch_size=batch_size, epochs=epochs, validation_split=0.1)"
      ],
      "metadata": {
        "id": "q_h8PxkN9m0v"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 6) Оценили качество обучения на тестовых данных. Вывели значение функции ошибки и значение метрики качества классификации на тестовых данных."
      ],
      "metadata": {
        "id": "HL2_LVga1C3l"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Оценка качества работы модели на тестовых данных\n",
        "scores = model.evaluate(X_test, y_test)\n",
        "print('Loss on test data:', scores[0])\n",
        "print('Accuracy on test data:', scores[1])"
      ],
      "metadata": {
        "id": "81Cgq8dn9uL6"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 7) Подали на вход обученной модели два тестовых изображения. Вывели изображения, истинные метки и результаты распознавания."
      ],
      "metadata": {
        "id": "KzrVY1SR1DZh"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# вывод двух тестовых изображений и результатов распознавания\n",
        "\n",
        "for n in [11,43]:\n",
        "  result = model.predict(X_test[n:n+1])\n",
        "  print('NN output:', result)\n",
        "\n",
        "  plt.imshow(X_test[n].reshape(28,28), cmap=plt.get_cmap('gray'))\n",
        "  plt.show()\n",
        "  print('Real mark: ', np.argmax(y_test[n]))\n",
        "  print('NN answer: ', np.argmax(result))"
      ],
      "metadata": {
        "id": "dbfkWjDI1Dp7"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 8) Вывели отчет о качестве классификации тестовой выборки и матрицу ошибок для тестовой выборки."
      ],
      "metadata": {
        "id": "YgiVGr5_1D3u"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# истинные метки классов\n",
        "true_labels = np.argmax(y_test, axis=1)\n",
        "# предсказанные метки классов\n",
        "predicted_labels = np.argmax(model.predict(X_test), axis=1)\n",
        "\n",
        "# отчет о качестве классификации\n",
        "print(classification_report(true_labels, predicted_labels))\n",
        "# вычисление матрицы ошибок\n",
        "conf_matrix = confusion_matrix(true_labels, predicted_labels)\n",
        "# отрисовка матрицы ошибок в виде \"тепловой карты\"\n",
        "display = ConfusionMatrixDisplay(confusion_matrix=conf_matrix)\n",
        "display.plot()\n",
        "plt.show()"
      ],
      "metadata": {
        "id": "7MqcG_wl1EHI"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 9) Загрузили, предобработали и подали на вход обученной нейронной сети собственное изображение, созданное при выполнении лабораторной работы №1. Вывели изображение и результат распознавания."
      ],
      "metadata": {
        "id": "amaspXGW1EVy"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# загрузка собственного изображения\n",
        "from PIL import Image\n",
        "\n",
        "for name_image in ['190 (2).png', '690 (1).png']:\n",
        "  file_data = Image.open(name_image)\n",
        "  file_data = file_data.convert('L') # перевод в градации серого\n",
        "  test_img = np.array(file_data)\n",
        "\n",
        "  # вывод собственного изображения\n",
        "  plt.imshow(test_img, cmap=plt.get_cmap('gray'))\n",
        "  plt.show()\n",
        "\n",
        "  # предобработка\n",
        "  test_img = test_img / 255\n",
        "  test_img = np.reshape(test_img, (1,28,28,1))\n",
        "\n",
        "  # распознавание\n",
        "  result = model.predict(test_img)\n",
        "  print('I think it\\'s', np.argmax(result))"
      ],
      "metadata": {
        "id": "ktWEeqWd1EyF"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 10) Загрузили с диска модель, сохраненную при выполнении лабораторной работы №1. Вывели информацию об архитектуре модели. Повторили для этой модели п. 6."
      ],
      "metadata": {
        "id": "mgrihPd61E8w"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model_lr1 = keras.models.load_model(\"best_model.keras\")\n",
        "\n",
        "model_lr1.summary()"
      ],
      "metadata": {
        "id": "DblXqn3l1FL2"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# развернем каждое изображение 28*28 в вектор 784\n",
        "X_train, X_test, y_train, y_test = train_test_split(X, y,\n",
        "                                                    test_size = 10000,\n",
        "                                                    train_size = 60000,\n",
        "                                                    random_state = 23)\n",
        "num_pixels = X_train.shape[1] * X_train.shape[2]\n",
        "X_train = X_train.reshape(X_train.shape[0], num_pixels) / 255\n",
        "X_test = X_test.reshape(X_test.shape[0], num_pixels) / 255\n",
        "print('Shape of transformed X train:', X_train.shape)\n",
        "print('Shape of transformed X train:', X_test.shape)\n",
        "\n",
        "# переведем метки в one-hot\n",
        "y_train = keras.utils.to_categorical(y_train, num_classes)\n",
        "y_test = keras.utils.to_categorical(y_test, num_classes)\n",
        "print('Shape of transformed y train:', y_train.shape)\n",
        "print('Shape of transformed y test:', y_test.shape)"
      ],
      "metadata": {
        "id": "0ki8fhJrEyEt"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# Оценка качества работы модели на тестовых данных\n",
        "scores = model_lr1.evaluate(X_test, y_test)\n",
        "print('Loss on test data:', scores[0])\n",
        "print('Accuracy on test data:', scores[1])"
      ],
      "metadata": {
        "id": "0Yj0fzLNE12k"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 11) Сравнили обученную модель сверточной сети и наилучшую модель полносвязной сети из лабораторной работы №1 по следующим показателям:\n",
        "### - количество настраиваемых параметров в сети\n",
        "### - количество эпох обучения\n",
        "### - качество классификации тестовой выборки.\n",
        "### Сделали выводы по результатам применения сверточной нейронной сети для распознавания изображений.  "
      ],
      "metadata": {
        "id": "MsM3ew3d1FYq"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Таблица1:"
      ],
      "metadata": {
        "id": "xxFO4CXbIG88"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "| Модель   | Количество настраиваемых параметров | Количество эпох обучения | Качество классификации тестовой выборки |\n",
        "|----------|-------------------------------------|---------------------------|-----------------------------------------|\n",
        "| Сверточная | 34 826                              | 15                        | accuracy:0.987     ; loss:0.037                                   |\n",
        "| Полносвязная | 79512                              | 50                        | accuracy:0.946     ; loss:0.185                                  |\n"
      ],
      "metadata": {
        "id": "xvoivjuNFlEf"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "По результатам применения сверточной НС, а также по результатам таблицы 1 делаем выводы, что сверточная НС намного лучше справляется с задачами распознования изображений, чем полносвязная - имеет меньше настраиваемых параметров, быстрее обучается, имеет лучшие показатели качества."
      ],
      "metadata": {
        "id": "YctF8h_sIB-P"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Задание 2"
      ],
      "metadata": {
        "id": "wCLHZPGB1F1y"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### В новом блокноте выполнили п. 2–8 задания 1, изменив набор данных MNIST на CIFAR-10, содержащий размеченные цветные изображения объектов, разделенные на 10 классов.  \n",
        "### При этом:\n",
        "### - в п. 3 разбиение данных на обучающие и тестовые произвели в соотношении 50 000:10 000\n",
        "### - после разбиения данных (между п. 3 и 4) вывели 25 изображений из обучающей выборки с подписями классов\n",
        "### - в п. 7 одно из тестовых изображений должно распознаваться корректно, а другое – ошибочно.   "
      ],
      "metadata": {
        "id": "DUOYls124TT8"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 1) Загрузили набор данных CIFAR-10, содержащий цветные изображения размеченные на 10 классов: самолет, автомобиль, птица, кошка, олень, собака, лягушка, лошадь, корабль, грузовик."
      ],
      "metadata": {
        "id": "XDStuSpEJa8o"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# загрузка датасета\n",
        "from keras.datasets import cifar10\n",
        "\n",
        "(X_train, y_train), (X_test, y_test) = cifar10.load_data()"
      ],
      "metadata": {
        "id": "y0qK7eKL4Tjy"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 2) Разбили набор данных на обучающие и тестовые данные в соотношении 50 000:10 000 элементов. Параметр random_state выбрали равным (4k – 1)=23, где k=6 –номер бригады. Вывели размерности полученных обучающих и тестовых массивов данных."
      ],
      "metadata": {
        "id": "wTHiBy-ZJ5oh"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# создание своего разбиения датасета\n",
        "\n",
        "# объединяем в один набор\n",
        "X = np.concatenate((X_train, X_test))\n",
        "y = np.concatenate((y_train, y_test))\n",
        "\n",
        "# разбиваем по вариантам\n",
        "X_train, X_test, y_train, y_test = train_test_split(X, y,\n",
        "                                                    test_size = 10000,\n",
        "                                                    train_size = 50000,\n",
        "                                                    random_state = 23)\n",
        "# вывод размерностей\n",
        "print('Shape of X train:', X_train.shape)\n",
        "print('Shape of y train:', y_train.shape)\n",
        "print('Shape of X test:', X_test.shape)\n",
        "print('Shape of y test:', y_test.shape)"
      ],
      "metadata": {
        "id": "DlnFbQogKD2v"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Вывели 25 изображений из обучающей выборки с подписью классов."
      ],
      "metadata": {
        "id": "pj3bMaz1KZ3a"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer',\n",
        "               'dog', 'frog', 'horse', 'ship', 'truck']\n",
        "\n",
        "plt.figure(figsize=(10,10))\n",
        "for i in range(25):\n",
        "    plt.subplot(5,5,i+1)\n",
        "    plt.xticks([])\n",
        "    plt.yticks([])\n",
        "    plt.grid(False)\n",
        "    plt.imshow(X_train[i])\n",
        "    plt.xlabel(class_names[y_train[i][0]])\n",
        "plt.show()"
      ],
      "metadata": {
        "id": "TW8D67KEKhVE"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 3) Провели предобработку данных: привели обучающие и тестовые данные к формату, пригодному для обучения сверточной нейронной сети. Входные данные принимают значения от 0 до 1, метки цифр закодированы по принципу «one-hot encoding». Вывели размерности предобработанных обучающих и тестовых массивов данных."
      ],
      "metadata": {
        "id": "d3TPr2w1KQTK"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Зададим параметры данных и модели\n",
        "num_classes = 10\n",
        "input_shape = (32, 32, 3)\n",
        "\n",
        "# Приведение входных данных к диапазону [0, 1]\n",
        "X_train = X_train / 255\n",
        "X_test = X_test / 255\n",
        "\n",
        "print('Shape of transformed X train:', X_train.shape)\n",
        "print('Shape of transformed X test:', X_test.shape)\n",
        "\n",
        "# переведем метки в one-hot\n",
        "y_train = keras.utils.to_categorical(y_train, num_classes)\n",
        "y_test = keras.utils.to_categorical(y_test, num_classes)\n",
        "print('Shape of transformed y train:', y_train.shape)\n",
        "print('Shape of transformed y test:', y_test.shape)"
      ],
      "metadata": {
        "id": "iFDpxEauLZ8j"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 4) Реализовали модель сверточной нейронной сети и обучили ее на обучающих данных с выделением части обучающих данных в качестве валидационных. Вывели информацию об архитектуре нейронной сети."
      ],
      "metadata": {
        "id": "ydNITXptLeGT"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# создаем модель\n",
        "model = Sequential()\n",
        "model.add(layers.Conv2D(32, kernel_size=(3, 3), activation=\"relu\", input_shape=input_shape))\n",
        "model.add(layers.MaxPooling2D(pool_size=(2, 2)))\n",
        "model.add(layers.Conv2D(64, kernel_size=(3, 3), activation=\"relu\"))\n",
        "model.add(layers.MaxPooling2D(pool_size=(2, 2)))\n",
        "model.add(layers.Conv2D(128, kernel_size=(3, 3), activation=\"relu\"))\n",
        "model.add(layers.MaxPooling2D(pool_size=(2, 2)))\n",
        "model.add(layers.Flatten())\n",
        "model.add(layers.Dense(128, activation='relu'))\n",
        "model.add(layers.Dropout(0.5))\n",
        "model.add(layers.Dense(num_classes, activation=\"softmax\"))\n",
        "model.summary()"
      ],
      "metadata": {
        "id": "YhAD5CllLlv7"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# компилируем и обучаем модель\n",
        "batch_size = 64\n",
        "epochs = 50\n",
        "model.compile(loss=\"categorical_crossentropy\", optimizer=\"adam\", metrics=[\"accuracy\"])\n",
        "model.fit(X_train, y_train, batch_size=batch_size, epochs=epochs, validation_split=0.1)"
      ],
      "metadata": {
        "id": "3otvqMjjOdq5"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 5) Оценили качество обучения на тестовых данных. Вывели значение функции ошибки и значение метрики качества классификации на тестовых данных."
      ],
      "metadata": {
        "id": "Vv1kUHWTLl9B"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Оценка качества работы модели на тестовых данных\n",
        "scores = model.evaluate(X_test, y_test)\n",
        "print('Loss on test data:', scores[0])\n",
        "print('Accuracy on test data:', scores[1])"
      ],
      "metadata": {
        "id": "SaDxydiyLmRX"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 6) Подали на вход обученной модели два тестовых изображения. Вывели изображения, истинные метки и результаты распознавания."
      ],
      "metadata": {
        "id": "OdgEiyUGLmhP"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# вывод двух тестовых изображений и результатов распознавания\n",
        "\n",
        "for n in [3,16]:\n",
        "  result = model.predict(X_test[n:n+1])\n",
        "  print('NN output:', result)\n",
        "\n",
        "  plt.imshow(X_test[n].reshape(32,32,3), cmap=plt.get_cmap('gray'))\n",
        "  plt.show()\n",
        "  print('Real mark: ', np.argmax(y_test[n]))\n",
        "  print('NN answer: ', np.argmax(result))"
      ],
      "metadata": {
        "id": "t3yGj1MlLm9H"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 7) Вывели отчет о качестве классификации тестовой выборки и матрицу ошибок для тестовой выборки."
      ],
      "metadata": {
        "id": "3h6VGDRrLnNC"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# истинные метки классов\n",
        "true_labels = np.argmax(y_test, axis=1)\n",
        "# предсказанные метки классов\n",
        "predicted_labels = np.argmax(model.predict(X_test), axis=1)\n",
        "\n",
        "# отчет о качестве классификации\n",
        "print(classification_report(true_labels, predicted_labels, target_names=class_names))\n",
        "# вычисление матрицы ошибок\n",
        "conf_matrix = confusion_matrix(true_labels, predicted_labels)\n",
        "# отрисовка матрицы ошибок в виде \"тепловой карты\"\n",
        "fig, ax = plt.subplots(figsize=(6, 6))\n",
        "disp = ConfusionMatrixDisplay(confusion_matrix=conf_matrix,display_labels=class_names)\n",
        "disp.plot(ax=ax, xticks_rotation=45)  # поворот подписей по X и приятная палитра\n",
        "plt.tight_layout()  # чтобы всё влезло\n",
        "plt.show()"
      ],
      "metadata": {
        "id": "od56oyyzM0nw"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "По результатам классификации датасета CIFAR-10 сверточной моделью делаем вывод, что она удовлетворительно справилась с задачей. Полученные метрики оценки качества имеют показатели в районе 0.71."
      ],
      "metadata": {
        "id": "RF4xK1cxamBc"
      }
    }
  ]
}