diff --git a/labworks/LW1/Report.md b/labworks/LW1/Report.md new file mode 100644 index 0000000..52306ff --- /dev/null +++ b/labworks/LW1/Report.md @@ -0,0 +1,692 @@ +# Отчёт по лабораторной работе №1 +## по теме: "Архитектура и обучение глубоких нейронных сетей" + +--- +Выполнили: Бригада 2, Мачулина Д.В., Бирюкова А.С., А-02-22 + +--- +### 1. Создание блокнота в Google Collab и настройка директории +```python +import os +os.chdir('/content/drive/MyDrive/Colab Notebooks') +``` +**Импорт библиотек** +```python +from tensorflow import keras +import matplotlib.pyplot as plt +import numpy as np +import sklearn +``` + +--- +### 2. Загрузка набора данных MNIST +```python +from keras.datasets import mnist +(X_train, y_train), (X_test, y_test) = mnist.load_data() +``` +___ +### 3. Разбиение набора данных на обучающие и тестовые данные +```python +from sklearn.model_selection import train_test_split +``` +**Объединение обучающих и тестовых данных в один набор** +```python +X = np.concatenate((X_train, X_test)) +y = np.concatenate((y_train, y_test)) +``` +**Разбиение набора случайным образом (номер бригады - 2)** +```python +X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 10000, train_size = 60000, random_state = 7) +``` +**Вывод размерностей** +```python +print('Shape of X train:', X_train.shape) +print('Shape of y train:', y_train.shape) +``` +*Shape of X train: (60000, 28, 28); +Shape of y train: (60000,)* + +### 4. Вывод элементов обучающих данных +```python +fig, axes = plt.subplots(1, 4, figsize=(10, 3)) + +for i in range(4): + axes[i].imshow(X_train[i], cmap=plt.get_cmap('gray')) + axes[i].set_title(f'Label: {y_train[i]}') + +plt.show() +``` +![](http://uit.mpei.ru/git/MachulinaDV/is_dnn/raw/branch/main/labworks/LW1/3576.png) + +--- +### 5. Предобработка данных +**Преобразование данных из массива в вектор** +```python +num_pixels = X_train.shape[1] * X_train.shape[2] +X_train = X_train.reshape(X_train.shape[0], num_pixels) / 255 +X_test = X_test.reshape(X_test.shape[0], num_pixels) / 255 +print('Shape of transformed X train:', X_train.shape) +``` +*Shape of transformed X train: (60000, 784)* + +**Кодировка метод цифр по принципу one-hot encoding** +```python +from keras.utils import to_categorical +y_train = to_categorical(y_train) +y_test = to_categorical(y_test) +print('Shape of transformed y train:', y_train.shape) +num_classes = y_train.shape[1] +``` +*Shape of transformed y train: (60000, 10)* + +--- +### 6. Реализация модели нейронной сети +```python +from keras.models import Sequential +from keras.layers import Dense +``` + +**Создание и компиляция модели** +```python +model_01 = Sequential() +model_01.add(Dense(units=num_classes,input_dim=num_pixels, activation='softmax')) +model_01.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy']) +model_01.summary() +``` +*Model: "sequential_5"* + + + + + + + + + + + + + + + +
Layer (type)Output ShapeParam #
dense_10 (Dense)(None, 10)7,850
+ +*Total params: 7,850 (30.66 KB)* + +*Trainable params: 7,850 (30.66 KB)* + +*Non-trainable params: 0 (0.00 B)* + +**Обучение модели** +```python +H = model_01.fit( + X_train, y_train, + validation_split=0.1, + epochs=100, + batch_size = 512 +) +``` +**Вывод графика ошибки** +```python +plt.figure(figsize=(12, 5)) + +plt.subplot(1, 2, 1) +plt.plot(H.history['loss'], label='Обучающая ошибка') +plt.plot(H.history['val_loss'], label='Валидационная ошибка') +plt.title('Функция ошибки по эпохам') +plt.xlabel('Epochs') +plt.ylabel('loss') +plt.legend() +plt.grid(True) +``` +![](http://uit.mpei.ru/git/MachulinaDV/is_dnn/raw/branch/main/labworks/LW1/model_01.png) + +### 7. Применение модели к тестовым данным +```python +scores=model_01.evaluate(X_test,y_test) +print('Loss on test data:', scores[0]) +print('Accuracy on test data:', scores[1]) +``` +*Loss on test data: 0.3511466085910797;* + +*Accuracy on test data: 0.9067999720573425* + +### 8. Повторные эксперименты с добавлением первого скрытого слоя +**100 нейронов в первом скрытом слое:** +```python +model_01_100 = Sequential() +model_01_100.add(Dense(units=100,input_dim=num_pixels, activation='sigmoid')) +model_01_100.add(Dense(units=num_classes, activation='softmax')) +model_01_100.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy']) +model_01_100.summary() +``` +*Model: "sequential_6"* + + + + + + + + + + + + + + + + + + + + +
Layer (type)Output ShapeParam #
dense_11 (Dense)(None, 100)78,500
dense_12(Dense)(None,10)1,010
+ +*Total params: 79,510 (310.59 KB)* + +*Trainable params: 79,510 (310.59 KB)* + +*Non-trainable params: 0 (0.00 B)* +```python +H_01_100 = model_01_100.fit( + X_train, y_train, + validation_split=0.1, + epochs=100, + batch_size = 512 +) +``` +```python +plt.figure(figsize=(12, 5)) + +plt.subplot(1, 2, 1) +plt.plot(H_01_100.history['loss'], label='Обучающая ошибка') +plt.plot(H_01_100.history['val_loss'], label='Валидационная ошибка') +plt.title('Функция ошибки по эпохам') +plt.xlabel('Epochs') +plt.ylabel('loss') +plt.legend() +plt.grid(True) +``` +![](http://uit.mpei.ru/git/MachulinaDV/is_dnn/raw/branch/main/labworks/LW1/model_01_100.png) +```python +scores_01_100=model_01_100.evaluate(X_test,y_test) +print('Loss on test data:', scores_01_100[0]) +print('Accuracy on test data:', scores_01_100[1]) +``` +*Loss on test data: 0.3824511766433716* + +*Accuracy on test data: 0.9000999927520752* + +**300 нейронов в первом скрытом слое** +```python +model_01_300 = Sequential() +model_01_300.add(Dense(units=300,input_dim=num_pixels, activation='sigmoid')) +model_01_300.add(Dense(units=num_classes, activation='softmax')) +model_01_300.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy']) +model_01_300.summary() +``` +*Model: "sequential_7"* + + + + + + + + + + + + + + + + + + + + +
Layer (type)Output ShapeParam #
dense_13 (Dense)(None, 300)235,500
dense_14(Dense)(None,10)3,010
+ +*Total params: 238,510 (931.68 KB)* + +*Trainable params: 238,510 (931.68 KB)* + +*Non-trainable params: 0 (0.00 B)* + +```python +H_01_300 = model_01_300.fit( + X_train, y_train, + validation_split=0.1, + epochs=100, + batch_size = 512 +) +``` +```python +plt.figure(figsize=(12, 5)) + +plt.subplot(1, 2, 1) +plt.plot(H_01_300.history['loss'], label='Обучающая ошибка') +plt.plot(H_01_300.history['val_loss'], label='Валидационная ошибка') +plt.title('Функция ошибки по эпохам') +plt.xlabel('Epochs') +plt.ylabel('loss') +plt.legend() +plt.grid(True) +``` +![](http://uit.mpei.ru/git/MachulinaDV/is_dnn/raw/branch/main/labworks/LW1/model_01_300.png) +```python +scores_01_300=model_01_300.evaluate(X_test,y_test) +print('Loss on test data:', scores_01_300[0]) +print('Accuracy on test data:', scores_01_300[1]) +``` + +*Loss on test data: 0.37091827392578125* + +*Accuracy on test data: 0.9013000130653381* + +**500 нейронов в первом скрытом слое** +```python +model_01_500 = Sequential() +model_01_500.add(Dense(units=500,input_dim=num_pixels, activation='sigmoid')) +model_01_500.add(Dense(units=num_classes, activation='softmax')) +model_01_500.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy']) +model_01_500.summary() +``` +*Model: "sequential_8"* + + + + + + + + + + + + + + + + + + + + +
Layer (type)Output ShapeParam #
dense_15 (Dense)(None, 500)392,500
dense_16(Dense)(None,10)5,010
+ +*Total params: 397,510 (1.52 MB)* + +*Trainable params: 397,510 (1.52 MB)* + +*Non-trainable params: 0 (0.00 B)* + +```python +H_01_500 = model_01_500.fit( + X_train, y_train, + validation_split=0.1, + epochs=100, + batch_size = 512 +) +``` +```python +plt.figure(figsize=(12, 5)) + +plt.subplot(1, 2, 1) +plt.plot(H_01_500.history['loss'], label='Обучающая ошибка') +plt.plot(H_01_500.history['val_loss'], label='Валидационная ошибка') +plt.title('Функция ошибки по эпохам') +plt.xlabel('Epochs') +plt.ylabel('loss') +plt.legend() +plt.grid(True) +``` +![](http://uit.mpei.ru/git/MachulinaDV/is_dnn/raw/branch/main/labworks/LW1/model_01_500.png) +```python +scores_01_500=model_01_500.evaluate(X_test,y_test) +print('Loss on test data:',scores_01_500[0]) +print('Accuracy on test data:',scores_01_500[1]) +``` +*Loss on test data: 0.36660370230674744* + +*Accuracy on test data: 0.9010000228881836* + +Таким образом, наиболее точной архитектурой со скрытым слоем является архитектура со 300 нейронами в скрытом слое. Для дальнейшей работы будем использовать её. + +### 9. Повторные эксперименты с добавлением второго скрытого слоя +**50 нейронов во втором скрытом слое** +```python +model_01_300_50 = Sequential() +model_01_300_50.add(Dense(units=300, input_dim=num_pixels, activation='sigmoid')) +model_01_300_50.add(Dense(units=50, activation='sigmoid')) +model_01_300_50.add(Dense(units=num_classes, activation='softmax')) +model_01_300_50.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy']) +model_01_300_50.summary() +``` +*Model: "sequential_11"* + + + + + + + + + + + + + + + + + + + + + + + + + +
Layer (type)Output ShapeParam #
dense_23 (Dense)(None, 300)235,500
dense_24(Dense)(None,50)15,050
dense_25 (Dense)(None,10)510
+ +*Total params: 251,060 (328.36 KB)* + +*Trainable params: 251,060 (328.36 KB)* + +*Non-trainable params: 0 (0.00 B)* + +```python +H_01_300_50 = model_01_300_50.fit( + X_train, y_train, + validation_split=0.1, + epochs=100, + batch_size=512 +) +``` +```python +plt.figure(figsize=(12, 5)) + +plt.subplot(1, 2, 1) +plt.plot(H_01_300_50.history['loss'], label='Обучающая ошибка') +plt.plot(H_01_300_50.history['val_loss'], label='Валидационная ошибка') +plt.title('Функция ошибки по эпохам') +plt.xlabel('Epochs') +plt.ylabel('loss') +plt.legend() +plt.grid(True) +``` +![](http://uit.mpei.ru/git/MachulinaDV/is_dnn/raw/branch/main/labworks/LW1/model_01_300_50.png) +```python +scores_01_300_50=model_01_300_50.evaluate(X_test,y_test) +print('Loss on test data:',scores_01_300_50[0]) +print('Accuracy on test data:',scores_01_300_50[1]) +``` +*Loss on test data: 0.4881931245326996* + +*Accuracy on test data: 0.8740000128746033* + +**100 нейронов во втором скрытом слое** +```python +model_01_300_100 = Sequential() +model_01_300_100.add(Dense(units=300, input_dim=num_pixels, activation='sigmoid')) +model_01_300_100.add(Dense(units=100, activation='sigmoid')) +model_01_300_100.add(Dense(units=num_classes, activation='softmax')) +model_01_300_100.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy']) +model_01_300_100.summary() +``` +*Model: "sequential_12"* + + + + + + + + + + + + + + + + + + + + + + + + + +
Layer (type)Output ShapeParam #
dense_26 (Dense)(None, 300)235,500
dense_27(Dense)(None,100)30,100
dense_28 (Dense)(None,10)1,010
+ +*Total params: 266,610 (350.04 KB)* + +*Trainable params: 266,610 (350.04 KB)* + +*Non-trainable params: 0 (0.00 B)* + +```python +H_01_300_100 = model_01_300_100.fit( + X_train, y_train, + validation_split=0.1, + epochs=100, + batch_size=512 +) +``` +```python +plt.figure(figsize=(12, 5)) + +plt.subplot(1, 2, 1) +plt.plot(H_01_300_100.history['loss'], label='Обучающая ошибка') +plt.plot(H_01_300_100.history['val_loss'], label='Валидационная ошибка') +plt.title('Функция ошибки по эпохам') +plt.xlabel('Epochs') +plt.ylabel('loss') +plt.legend() +plt.grid(True) +``` +![](http://uit.mpei.ru/git/MachulinaDV/is_dnn/raw/branch/main/labworks/LW1/model_01_300_100.png) +```python +scores_01_300_100=model_01_300_100.evaluate(X_test,y_test) +print('Lossontestdata:',scores_01_300_100[0]) +print('Accuracyontestdata:',scores_01_300_100[1]) +``` +*Loss on test data: 0.4638420343399048* + +*Accuracy on test data: 0.8795999884605408* + +**Сведём результаты в таблицу** + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
Количество скрытых слоёв (type)Количество нейронов в первом скрытом слоеКоличество нейронов во втором скрытом слое Значение метрики качества классификации
0--0.9067999720573425
1100-0.9000999927520752
3000.9013000130653381
5000.9010000228881836
2300500.8740000128746033
1000.8795999884605408
+ +### 11.Сохранение лучшей модели на диск +```python +model_01_300.save(filepath='best_model.keras') +``` + +### 12. Вывод тестовых изображений +**Загрузка лучшей модели с диска** +```python +from keras.models import load_model +model = load_model('best_model.keras') +``` +**Вывод изображений** +```python +n = 123 +result = model.predict(X_test[n:n+1]) +print('NN output:', result) +plt.imshow(X_test[n].reshape(28,28), cmap=plt.get_cmap('gray')) +plt.show() +print('Real mark: ', str(np.argmax(y_test[n]))) +print('NN answer: ', str(np.argmax(result))) +``` +![](http://uit.mpei.ru/git/MachulinaDV/is_dnn/raw/branch/main/labworks/LW1/12.1.png) + +*Real mark: 6* + +*NN answer: 6* + +```python +n = 765 +result = model.predict(X_test[n:n+1]) +print('NN output:', result) +plt.imshow(X_test[n].reshape(28,28), cmap=plt.get_cmap('gray')) +plt.show() +print('Real mark: ', str(np.argmax(y_test[n]))) +print('NN answer: ', str(np.argmax(result))) +``` +![](http://uit.mpei.ru/git/MachulinaDV/is_dnn/raw/branch/main/labworks/LW1/12.2.png) + +*Real mark: 3* + +*NN answer: 3* + +### 13. Тестирование на собственных изображениях +**Загрузка собственного изображения** +```python +from PIL import Image +file_07_data = Image.open('7.png') +file_07_data = file_07_data.convert('L') +test_07_img = np.array(file_07_data) +``` +**Вывод изображения** +```python +plt.imshow(test_07_img, cmap=plt.get_cmap('gray')) +plt.show() +``` +![](http://uit.mpei.ru/git/MachulinaDV/is_dnn/raw/branch/main/labworks/LW1/7.png) + +**Распознавание изображения** +```python +test_07_img = test_07_img / 255 +test_07_img = test_07_img.reshape(1, num_pixels) +``` +*I think it's 7* + +**Второе изображение** +```python +from PIL import Image +file_05_data = Image.open('5.png') +file_05_data = file_05_data.convert('L') +test_05_img = np.array(file_05_data) +``` +```python +plt.imshow(test_05_img, cmap=plt.get_cmap('gray')) +plt.show() +``` +![](http://uit.mpei.ru/git/MachulinaDV/is_dnn/raw/branch/main/labworks/LW1/5.png) + + +```python +test_05_img = test_05_img / 255 +test_05_img = test_05_img.reshape(1, num_pixels) +``` +```python +result = model.predict(test_05_img) +print('I think it\'s ', np.argmax(result)) +``` +*I think it's 5* + +Нейросеть распознала изображения корректно + +### 14. Тестирование на собственных перевёрнутых изображениях +**Первое изображение** +```python +from PIL import Image +file_07_90_data = Image.open('7-90.png') +file_07_90_data = file_07_90_data.convert('L') +test_07_90_img = np.array(file_07_90_data) +``` +```python +plt.imshow(test_07_90_img, cmap=plt.get_cmap('gray')) +plt.show() +``` +![](http://uit.mpei.ru/git/MachulinaDV/is_dnn/raw/branch/main/labworks/LW1/7-90.png) + + +```python +test_07_90_img = test_07_90_img / 255 +test_07_90_img = test_07_90_img.reshape(1, num_pixels) +``` +```python +result = model.predict(test_07_90_img) +print('I think it\'s ', np.argmax(result)) +``` +*I think it's 2* + +**Второе изображение** +```python +from PIL import Image +file_05_90_data = Image.open('5-90.png') +file_05_90_data = file_05_90_data.convert('L') +test_05_90_img = np.array(file_05_90_data) +``` +```python +plt.imshow(test_05_90_img, cmap=plt.get_cmap('gray')) +plt.show() +``` +![](http://uit.mpei.ru/git/MachulinaDV/is_dnn/raw/branch/main/labworks/LW1/5-90.png) + + +```python +test_05_90_img = test_05_90_img / 255 +test_05_90_img = test_05_90_img.reshape(1, num_pixels) +``` +```python +result = model.predict(test_05_90_img) +print('I think it\'s ', np.argmax(result)) +``` +*I think it's 4* + +Нейросеть не смогла распознать изображения + +**Вывод по архитектуре**: анализируя полученные результаты, можем прийти к выводу, что с ростом количества нейронов точность сначала улучшается - сеть обучается лучше, а при 500 нейронах - немного падает качество классификации, что может свидетельствовать о том, что алгоритм «застревал» в каком-то локальном минимуме; либо слишком малое время обучения - сеть не успевает обучиться, из-за чего страдает качество конечного результата. В данном примере это не критично, так как переобучение не наблюдается, а сама по себе точность достаточно высокая. + +**Вывод по картинкам**: проанализировав результаты работы сети, делаем вывод, что нейросеть справилась только с прямыми изображениями, повёрнутые она распознать не смогла. Это логично, потому что обучали её только на прямых изображениях. Если необходимо, чтобы картинки распознавались в том числе перевёрнутыми, в обучающую выборку стоит включить изображения такого же характера. \ No newline at end of file