Изменил(а) на 'labworks/LW1/IS_LR1_A-02-22.ipynb'

labworks/LW1/report.md

@@ -0,0 +1,423 @@
+# Отчет по лабораторной работе 1
+## Ледовской Михаил, Железнов Артем, Щипков Матвей
+## Группа А-02-22
+### Пункт 1
+
+В среде GoogleColab создали новый блокнот(notebook).Импортировали необходимые для работы библиотеки и модули.
+```python
+from google.colab import drive
+drive.mount('/content/drive')
+import os
+os.chdir('/content/drive/MyDrive/Colab Notebooks')
+from tensorflow import keras
+import matplotlib.pyplot as plt
+import numpy as np
+import sklearn
+```
+### Пункт 2
+Загрузили набор данных MNIST, содержащий размеченные изображения рукописных цифр.
+```python
+from keras.datasets import mnist
+```
+
+### Пункт 3
+Разбили набор данных на обучающие и тестовые данные в соотношении 60000:10000 элементов. При разбиении параметр random_state выбрали 27.
+Вывели размерности полученных обучающих и тестовых массивов данных.
+```python
+(X_train,y_train),(X_test,y_test)=mnist.load_data()
+from sklearn.model_selection import train_test_split
+#объединяем в один набор
+X=np.concatenate((X_train,X_test))
+y=np.concatenate((y_train,y_test))
+#разбиваем по вариантам
+X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=10000,train_size=60000,random_state=27)
+#вывод размерностей
+print('Shape of X train:',X_train.shape)
+print('Shape of y train:',y_train.shape)
+```
+
+### Пункт 4
+Вывели первые 4 элемента обучающих данных
+```python
+
+#вывод изображения
+plt.imshow(X_train[1],cmap=plt.get_cmap('gray'))
+plt.show()
+print(y_train[1])
+
+plt.imshow(X_train[2],cmap=plt.get_cmap('gray'))
+plt.show()
+print(y_train[2])
+
+plt.imshow(X_train[3],cmap=plt.get_cmap('gray'))
+plt.show()
+print(y_train[3])
+
+plt.imshow(X_train[4],cmap=plt.get_cmap('gray'))
+plt.show()
+print(y_train[4])
+```
+
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture1.PNG)
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture2.PNG)
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture3.PNG)
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture4.PNG)
+
+### Пункт 5
+Провели предобработку данных: привели обучающие и тестовые данные к формату, пригодному для обучения нейронной сети.
+Входные данные должны  принимать  значения  от  0  до  1, метки  цифрдолжны  быть закодированы  по  принципу  «one-hotencoding».Вывели  размерности предобработанных обучающих и тестовых массивов данных.
+```python
+#развернем каждое изображение 28*28 в вектор 784
+num_pixels=X_train.shape[1]*X_train.shape[2]
+X_train=X_train.reshape(X_train.shape[0],num_pixels) / 255
+X_test=X_test.reshape(X_test.shape[0],num_pixels) / 255
+print('Shape of transformed X train:',X_train.shape)
+
+#переведем метки в one-hot
+import keras.utils
+y_train=keras.utils.to_categorical(y_train)
+y_test=keras.utils.to_categorical(y_test)
+print('Shape of transformed y train:',y_train.shape)
+num_classes=y_train.shape[1]
+```
+
+### Пункт 6
+Реализовали  модель однослойной нейронной  сети  и  обучили  ее  на обучающих данных с выделением части обучающих данных в качестве валидационных. Вывели  информацию  об архитектуре нейронной  сети. Вывели график функции ошибки на обучающих и валидационных данных по эпохам.
+```python
+from keras.models import Sequential
+from keras.layers import Dense
+
+model_1 = Sequential()
+model_1.add(Dense(units=num_classes, input_dim=num_pixels, activation='softmax'))
+model_1.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
+print(model_1.summary())
+# Обучаем модель
+H = model_1.fit(X_train, y_train, validation_split=0.1, epochs=50)
+# вывод графика ошибки по эпохам
+plt.plot(H.history['loss'])
+plt.plot(H.history['val_loss'])
+plt.grid()
+plt.xlabel('Epochs')
+plt.ylabel('loss')
+plt.legend(['train_loss', 'val_loss'])
+plt.title('Loss by epochs')
+plt.show()
+```
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture5.PNG)
+### Пункт 7
+Применили обученную модель к тестовым данным. Вывели значение функции ошибки и значение метрики качества классификации на тестовых данных.
+```python
+# Оценка качества работы модели на тестовых данных
+scores = model_1.evaluate(X_test, y_test)
+print('Loss on test data:', scores[0])
+print('Accuracy on test data:', scores[1])
+```
+
+### Пункт 8
+Добавили в модель один скрытый и провели обучение и тестирование при 100, 300, 500 нейронах в скрытом слое. По метрике качества классификации на тестовых данных выбрали наилучшее количество нейронов в скрытом слое. 
+
+При 100 нейронах
+```python
+# создаем модель
+model_1h100 = Sequential()
+model_1h100.add(Dense(units=100, input_dim=num_pixels, activation='sigmoid'))
+model_1h100.add(Dense(units=num_classes, activation='softmax'))
+# компилируем модель
+model_1h100.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
+
+# вывод информации об архитектуре модели
+print(model_1h100.summary())
+
+# Обучаем модель
+H_1h100 = model_1h100.fit(X_train, y_train, validation_split=0.1, epochs=50)
+
+# вывод графика ошибки по эпохам
+plt.plot(H_1h100.history['loss'])
+plt.plot(H_1h100.history['val_loss'])
+plt.grid()
+plt.xlabel('Epochs')
+plt.ylabel('loss')
+plt.legend(['train_loss', 'val_loss'])
+plt.title('Loss by epochs')
+plt.show()
+
+
+# Оценка качества работы модели на тестовых данных
+scores = model_1h100.evaluate(X_test, y_test)
+print('Loss on test data:', scores[0])
+print('Accuracy on test data:', scores[1])
+```
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture6.PNG)
+
+Loss on test data: 0.1981867104768753
+Accuracy on test data: 0.9398000240325928
+
+При 300 нейронах
+```python
+# создаем модель
+model_1h300 = Sequential()
+model_1h300.add(Dense(units=300, input_dim=num_pixels, activation='sigmoid'))
+model_1h300.add(Dense(units=num_classes, activation='softmax'))
+# компилируем модель
+model_1h300.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
+
+# вывод информации об архитектуре модели
+print(model_1h300.summary())
+
+# Обучаем модель
+H_1h300 = model_1h300.fit(X_train, y_train, validation_split=0.1, epochs=50)
+
+# вывод графика ошибки по эпохам
+plt.plot(H_1h300.history['loss'])
+plt.plot(H_1h300.history['val_loss'])
+plt.grid()
+plt.xlabel('Epochs')
+plt.ylabel('loss')
+plt.legend(['train_loss', 'val_loss'])
+plt.title('Loss by epochs')
+plt.show()
+
+# Оценка качества работы модели на тестовых данных
+scores = model_1h300.evaluate(X_test, y_test)
+print('Loss on test data:', scores[0])
+print('Accuracy on test data:', scores[1])
+```
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture7.PNG)
+
+Loss on test data: 0.22451213002204895
+Accuracy on test data: 0.9320999979972839
+
+
+При 500 нейронах
+```python
+# создаем модель
+model_1h500 = Sequential()
+model_1h500.add(Dense(units=500, input_dim=num_pixels, activation='sigmoid'))
+model_1h500.add(Dense(units=num_classes, activation='softmax'))
+# компилируем модель
+model_1h500.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
+
+# вывод информации об архитектуре модели
+print(model_1h500.summary())
+
+# Обучаем модель
+H_1h500 = model_1h500.fit(X_train, y_train, validation_split=0.1, epochs=50)
+
+# вывод графика ошибки по эпохам
+plt.plot(H_1h500.history['loss'])
+plt.plot(H_1h500.history['val_loss'])
+plt.grid()
+plt.xlabel('Epochs')
+plt.ylabel('loss')
+plt.legend(['train_loss', 'val_loss'])
+plt.title('Loss by epochs')
+plt.show()
+
+# Оценка качества работы модели на тестовых данных
+scores = model_1h500.evaluate(X_test, y_test)
+print('Loss on test data:', scores[0])
+print('Accuracy on test data:', scores[1])
+```
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture8.PNG)
+
+Loss on test data: 0.24226699769496918
+Accuracy on test data: 0.9291999936103821
+
+
+Наилучшую метрику наблюдаем при архитектуре со 100 нейронами в скрытом слое.
+
+
+### Пункт 9
+Добавили в наилучшую архитектуру, определенную в п. 8, второй скрытый слой и провели обучение и тестирование при 50 и 100 нейронах во втором скрытом слое.
+
+При 50 нейронах
+```python
+# создаем модель
+model_1h100_2h50 = Sequential()
+model_1h100_2h50.add(Dense(units=100, input_dim=num_pixels, activation='sigmoid'))
+model_1h100_2h50.add(Dense(units=50, activation='sigmoid'))
+model_1h100_2h50.add(Dense(units=num_classes, activation='softmax'))
+# компилируем модель
+model_1h100_2h50.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
+
+# вывод информации об архитектуре модели
+print(model_1h100_2h50.summary())
+
+# Обучаем модель
+H_1h100_2h50 = model_1h100_2h50.fit(X_train, y_train, validation_split=0.1, epochs=50)
+
+# вывод графика ошибки по эпохам
+plt.plot(H_1h100_2h50.history['loss'])
+plt.plot(H_1h100_2h50.history['val_loss'])
+plt.grid()
+plt.xlabel('Epochs')
+plt.ylabel('loss')
+plt.legend(['train_loss', 'val_loss'])
+plt.title('Loss by epochs')
+plt.show()
+
+# Оценка качества работы модели на тестовых данных
+scores = model_1h100_2h50.evaluate(X_test, y_test)
+print('Loss on test data:', scores[0])
+print('Accuracy on test data:', scores[1])
+```
+
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture9.PNG)
+
+Loss on test data: 0.19637857377529144
+Accuracy on test data: 0.9409000277519226
+
+При 100 нейронах
+```python
+# создаем модель
+model_1h100_2h100 = Sequential()
+model_1h100_2h100.add(Dense(units=100, input_dim=num_pixels, activation='sigmoid'))
+model_1h100_2h100.add(Dense(units=100, activation='sigmoid'))
+model_1h100_2h100.add(Dense(units=num_classes, activation='softmax'))
+# компилируем модель
+model_1h100_2h100.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
+
+# вывод информации об архитектуре модели
+print(model_1h100_2h100.summary())
+
+# Обучаем модель
+H_1h100_2h100 = model_1h100_2h100.fit(X_train, y_train, validation_split=0.1, epochs=50)
+
+# вывод графика ошибки по эпохам
+plt.plot(H_1h100_2h100.history['loss'])
+plt.plot(H_1h100_2h100.history['val_loss'])
+plt.grid()
+plt.xlabel('Epochs')
+plt.ylabel('loss')
+plt.legend(['train_loss', 'val_loss'])
+plt.title('Loss by epochs')
+plt.show()
+
+# Оценка качества работы модели на тестовых данных
+scores = model_1h100_2h100.evaluate(X_test, y_test)
+print('Loss on test data:', scores[0])
+print('Accuracy on test data:', scores[1])
+```
+
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture10.PNG)
+
+Loss on test data: 0.19593027234077454
+Accuracy on test data: 0.9416999816894531
+
+### Пункт 10
+Результаты исследования архитектуры нейронной сети занесли в таблицу
+### Таблица с результатами тестирования нейросетевых моделей
+
+| Количество скрытых слоёв | Количество нейронов в первом скрытом слое | Количество нейронов во втором скрытом слое | Значение метрики качества классификации |
+|---------------------------|-------------------------------------------|--------------------------------------------|-----------------------------------------|
+| 0                         | -                                         | -                                          |  0.9199000000953674                     |
+| 1                         | 100                                       | -                                          |  0.9398000240325928                     |
+|                           | 300                                       | -                                          |  0.9320999979972839                    |
+|                           | 500                                       | -                                          |  0.9291999936103821                    |
+| 2                         | 100                        | 50                                         |  0.9409000277519226                     |
+|                           | 100                        | 100                                        |  0.9416999816894531                    |
+
+
+
+Исходя из нашего исследования, можно сделать вывод о том, что наилучшая архитектра - это архитектура с двумя скрытыми слоями (100 нейронов на первом скрытом слое и 100 на втором).
+### Пункт 11
+Сохранили  наилучшую  нейронную  сеть  на  диск
+```python
+model_1h100_2h100.save('best_model.keras')
+```
+
+### Пункт 12
+Вывели результаты тестирования модели
+```python
+# вывод тестового изображения и результата распознавания 1
+n = 123
+result = model_1h100_2h100.predict(X_test[n:n+1])
+print('NN output:', result)
+plt.imshow(X_test[n].reshape(28,28), cmap=plt.get_cmap('gray'))
+plt.show()
+print('Real mark: ', str(np.argmax(y_test[n])))
+print('NN answer: ', str(np.argmax(result)))
+```
+
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture11.PNG)
+
+Real mark:  0
+NN answer:  0
+
+### Пункт 13
+Создали собственные изображения чисел
+```python
+
+# загрузка собственного изображения
+from PIL import Image
+file_data = Image.open('five_v3.png')
+file_data = file_data.convert('L') # перевод в градации серого
+test_img = np.array(file_data)
+
+# вывод собственного изображения
+plt.imshow(test_img, cmap=plt.get_cmap('gray'))
+plt.show()
+```
+
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture12.PNG)
+
+
+
+```python
+# предобработка
+test_img = test_img / 255
+test_img = test_img.reshape(1, num_pixels)
+# распознавание
+result = model_1h100_2h100.predict(test_img)
+print('I think it\'s ', np.argmax(result))
+```
+
+I think it's  5
+
+
+### Пункт 14
+Создали копию нарисованных чисел и повернем их на 90 градусов. Протестируем работу нейронной сети.
+```python
+
+file_data = Image.open('three_v3_rotated.png')
+file_data = file_data.convert('L') # перевод в градации серого
+test_img = np.array(file_data)
+
+# вывод собственного изображения
+plt.imshow(test_img, cmap=plt.get_cmap('gray'))
+plt.show()
+# предобработка
+test_img = test_img / 255
+test_img = test_img.reshape(1, num_pixels)
+# распознавание
+result = model_1h100_2h100.predict(test_img)
+print('I think it\'s ', np.argmax(result))
+```
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture13.PNG)
+
+I think it's  2
+
+
+```python
+file_data = Image.open('five_v3_rotated.png')
+file_data = file_data.convert('L') # перевод в градации серого
+test_img = np.array(file_data)
+
+# вывод собственного изображения
+plt.imshow(test_img, cmap=plt.get_cmap('gray'))
+plt.show()
+# предобработка
+test_img = test_img / 255
+test_img = test_img.reshape(1, num_pixels)
+# распознавание
+result = model_1h100_2h100.predict(test_img)
+print('I think it\'s ', np.argmax(result))
+```
+
+![photo](http://uit.mpei.ru/git/ShchipkovMY/is_dnn/raw/branch/main/labworks/LW1/images%20/picture14.PNG)
+
+I think it's  2
+
+
+
+Нейросеть некорректно определила повернутые изображения.