labwork1

labworks/LW1/report.md

@@ -0,0 +1,563 @@
+# Отчет по лабораторной работе №1
+Юсуфов Юнус,Романов Мирон , А-01-22
+
+## 1. В среде GoogleColab создали блокнот. Импортировали все нужные модули для работы
+```
+from tensorflow import keras
+import matplotlib.pyplot as plt
+import numpy as np
+import sklearn
+from tensorflow.keras.utils import to_categorical
+from keras.models import Sequential
+from keras.layers import Dense
+```
+
+## 2. Загрузили датасет MNIST, содержащий рукописные цифры
+```
+from keras.datasets import mnist
+(X_train, y_train), (X_test, y_test) = mnist.load_data()
+```
+
+## 3. Разбили набор данных на обучающие и тестовые выборки 
+```
+from sklearn.model_selection import train_test_split
+```
+* объединили в один набор
+```
+X = np.concatenate((X_train, X_test))
+y = np.concatenate((y_train, y_test))
+```
+* разбили по вариантам
+```
+X_train, X_test, y_train, y_test = train_test_split(X, y,test_size = 10000,train_size = 60000, random_state = 35)
+```
+
+* Вывели размерности
+```
+print('Shape of X train:', X_train.shape)
+print('Shape of y train:', y_train.shape)
+```
+
+> Shape of X train: (60000, 28, 28)
+> Shape of y train: (60000,) 
+
+## 4. Вывод элементов обучающих данных
+* Вывел 4-е элемента выборки
+```
+print(y_train[0])
+plt.imshow(X_train[0], cmap=plt.get_cmap('gray'))
+plt.show()
+
+print(y_train[1])
+plt.imshow(X_train[1], cmap=plt.get_cmap('gray'))
+plt.show()
+
+print(y_train[2])
+plt.imshow(X_train[2], cmap=plt.get_cmap('gray'))
+plt.show()
+
+print(y_train[3])
+plt.imshow(X_train[3], cmap=plt.get_cmap('gray'))
+plt.show()
+```
+>0
+![Первый элемент](0n.png)
+>9 
+![Второй элемент](9n.png)
+>7
+![Третий элемен](7n.png)
+> 5
+![Четвертый элемент](5n.png)
+## 5. Предобработка данных
+* развернули каждое изображение 28*28 в вектор 784
+```
+num_pixels = X_train.shape[1] * X_train.shape[2]
+X_train = X_train.reshape(X_train.shape[0], num_pixels) / 255
+X_test = X_test.reshape(X_test.shape[0], num_pixels) / 255
+
+print('Shape of transformed X train:', X_train.shape)
+```
+
+> Shape of transformed X train: (60000, 784) 
+
+* перевели метки в one-hot
+```
+from keras.utils import to_categorical
+y_train = to_categorical(y_train)
+y_test = to_categorical(y_test)
+
+print('Shape of transformed y train:', y_train.shape)
+
+num_classes = y_train.shape[1]
+```
+
+> Shape of transformed y train: (60000, 10) 
+
+## 6. Реализация и обучение однослойной нейронной сети
+* 6.1.Создали модель, объявиил ее объектом класса Sequential и скомпилировали.
+```
+model_p = Sequential()
+model_p.add(Dense(units=num_classes,input_dim=num_pixels, activation='softmax'))
+model_p.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
+```
+* 6.2. Вывели архитектуру модели
+```
+model_p.summary()
+```
+
+> Model: "sequential"
+> ┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━┓
+> ┃ Layer (type)                    ┃ Output Shape           ┃       Param # ┃
+> ┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━┩
+> │ dense (Dense)                   │ (None, 10)             │         7,850 │
+> └─────────────────────────────────┴────────────────────────┴───────────────┘
+> Total params: 7,852 (30.68 KB)
+> Trainable params: 7,850 (30.66 KB)
+> Non-trainable params: 0 (0.00 B) 
+> Optimizer params: 2 (12.00 B)
+
+* Обучил модель
+```
+H_p = model_p.fit(X_train, y_train,batch_size = 512, validation_split=0.1, epochs=200)
+```
+
+* Вывели график функции ошибок
+```
+plt.plot(H_p.history['loss'])
+plt.plot(H_p.history['val_loss'])
+plt.grid()
+plt.xlabel('Epochs')
+plt.ylabel('loss')
+plt.legend(['train_loss','val_loss'])
+plt.title('Loss by epochs')
+plt.show()
+```
+
+![график функции ошибки](H_p.png)
+
+## 7. Примененили модели к тестовым данным
+```
+scores=model_p.evaluate(X_test,y_test);
+print('Loss on test data:',scores[0]);
+print('Accuracy on test data:',scores[1])
+```
+
+> accuracy: 0.9178 - loss: 0.2926
+>Loss on test data: 0.3017258942127228
+>Accuracy on test data: 0.9168999791145325 
+
+## 8. Добавили один скрытый слой и повторил п. 6-7 
+* при 100 нейронах в скрытом слое
+```
+model_2l_100 = Sequential()
+model_2l_100.add(Dense(units=100,input_dim=num_pixels, activation='sigmoid'))
+model_2l_100.add(Dense(units=num_classes, activation='softmax'))
+model_2l_100.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
+model_2l_100.summary()
+```
+
+
+>Model: "sequential"
+>┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━┓
+>┃ Layer (type)                    ┃ Output Shape           ┃       Param # ┃
+>┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━┩
+>│ dense_34 (Dense)                │ (None, 100)            │        78,500 │
+>├─────────────────────────────────┼────────────────────────┼───────────────┤
+>│ dense_35 (Dense)                │ (None, 10)             │         1,010 │
+>└─────────────────────────────────┴────────────────────────┴───────────────┘
+> Total params: 79,510 (310.59 KB)
+> Trainable params: 79,510 (310.59 KB)
+> Non-trainable params: 0 (0.00 B) 
+
+* Обучили модель
+```
+H_2l_100=model_2l_100.fit(X_train,y_train,batch_size =512, validation_split=0.1,epochs=200)
+```
+
+* Вывели график функции ошибки
+```
+plt.plot(H_2l_100.history['loss'])
+plt.plot(H_2l_100.history['val_loss'])
+plt.grid()
+plt.xlabel('Epochs')
+plt.ylabel('loss')
+plt.legend(['train_loss','val_loss'])
+plt.title('Loss by epochs')
+plt.show()
+```
+
+![график функции ошибки](H_2l_100.png)
+
+```
+scores=model_2l_100.evaluate(X_test,y_test);
+
+print('Loss on test data:',scores[0]);
+print('Accuracy on test data:',scores[1])
+```
+
+> accuracy: 0.9166 - loss: 0.3003
+>Loss on test data: 0.30692651867866516
+>Accuracy on test data: 0.9154999852180481 
+
+* при 300 нейронах в скрытом слое
+```
+model_2l_300 = Sequential()
+model_2l_300.add(Dense(units=300,input_dim=num_pixels, activation='sigmoid'))
+model_2l_300.add(Dense(units=num_classes, activation='softmax'))
+model_2l_300.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
+model_2l_300.summary()
+```
+
+
+>Model: "sequential_5"
+>┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━┓
+>┃ Layer (type)                    ┃ Output Shape           ┃       Param # ┃
+>┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━┩
+>│ dense_9 (Dense)                 │ (None, 300)            │       235,500 │
+>├─────────────────────────────────┼────────────────────────┼───────────────┤
+>│ dense_10 (Dense)                │ (None, 10)             │         3,010 │
+>└─────────────────────────────────┴────────────────────────┴───────────────┘
+> Total params: 238,510 (931.68 KB)
+> Trainable params: 238,510 (931.68 KB)
+> Non-trainable params: 0 (0.00 B) 
+
+* Обучили модель
+```
+H_2l_300=model_2l_300.fit(X_train,y_train,batch_size = 512,validation_split=0.1,epochs=200)
+```
+
+* Вывели график функции ошибки
+```
+plt.plot(H_2l_300.history['loss'])
+plt.plot(H_2l_300.history['val_loss'])
+plt.grid()
+plt.xlabel('Epochs')
+plt.ylabel('loss')
+plt.legend(['train_loss','val_loss'])
+plt.title('Loss by epochs')
+plt.show()
+```
+
+![график функции ошибки](H_2l_300.png)
+
+```
+scores=model_2l_300.evaluate(X_test,y_test);
+
+print('Loss on test data:',scores[0]);
+print('Accuracy on test data:',scores[1])
+```
+
+> - accuracy: 0.9155 - loss: 0.3049
+>Loss on test data: 0.3119920790195465
+>Accuracy on test data: 0.9139000177383423 
+
+* при 500 нейронах в скрытом слое
+```
+model_2l_500 = Sequential()
+model_2l_500.add(Dense(units=500,input_dim=num_pixels, activation='sigmoid'))
+model_2l_500.add(Dense(units=num_classes, activation='softmax'))
+model_2l_500.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
+model_2l_500.summary()
+```
+
+> Архитектура нейронной сети:
+>Model: "sequential_6"
+>┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━┓
+>┃ Layer (type)                    ┃ Output Shape           ┃       Param # ┃
+>┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━┩
+>│ dense_24 (Dense)                │ (None, 500)            │       392,500 │
+>├─────────────────────────────────┼────────────────────────┼───────────────┤
+>│ dense_25 (Dense)                │ (None, 10)             │         5,010 │
+>└─────────────────────────────────┴────────────────────────┴───────────────┘
+> Total params: 397,510 (1.52 MB)
+> Trainable params: 397,510 (1.52 MB)
+> Non-trainable params: 0 (0.00 B) 
+
+* Обучаем модель
+```
+H_2l_500=model_2l_500.fit(X_train,y_train,batch_size = 512,validation_split=0.1,epochs=200)
+```
+
+* Выводим график функции ошибки
+```
+plt.plot(H_2l_500.history['loss'])
+plt.plot(H_2l_500.history['val_loss'])
+plt.grid()
+plt.xlabel('Epochs')
+plt.ylabel('loss')
+plt.legend(['train_loss','val_loss'])
+plt.title('Loss by epochs')
+plt.show()
+```
+
+![график функции ошибки](H_2l_500.png)
+
+```
+scores=model_2l_500.evaluate(X_test,y_test);
+
+print('Loss on test data:',scores[0]);
+print('Accuracy on test data:',scores[1])
+```
+
+> accuracy: 0.9138 - loss: 0.3062
+>Loss on test data: 0.3137015998363495
+>Accuracy on test data: 0.9122999906539917
+
+Наилучший результат получился у ИНС с 100 нейронами в скрытом слое (0.9154999852180481). В следующих пунктах будем строить 3-х слойную сеть на основе этой конфигурации.
+
+## 9. Добавление второго скрытого слоя
+* при 50 нейронах во втором скрытом слое
+```
+model_3l_100_50 = Sequential()
+model_3l_100_50.add(Dense(units=100,input_dim=num_pixels, activation='sigmoid'))
+model_3l_100_50.add(Dense(units=50, activation='sigmoid'))
+model_3l_100_50.add(Dense(units=num_classes, activation='softmax'))
+model_3l_100_50.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
+model_3l_100_50.summary()
+```
+
+>Model: "sequential_7"
+>┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━┓
+>┃ Layer (type)                    ┃ Output Shape           ┃       Param # ┃
+>┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━┩
+>│ dense_13 (Dense)                │ (None, 100)            │        78,500 │
+>├─────────────────────────────────┼────────────────────────┼───────────────┤
+>│ dense_14 (Dense)                │ (None, 50)             │         5,050 │
+>├─────────────────────────────────┼────────────────────────┼───────────────┤
+>│ dense_15 (Dense)                │ (None, 10)             │           510 │
+>└─────────────────────────────────┴────────────────────────┴───────────────┘
+> Total params: 84,060 (328.36 KB)
+> Trainable params: 84,060 (328.36 KB)
+> Non-trainable params: 0 (0.00 B) 
+
+* Обучили модель
+```
+H_3l_100_50=model_3l_100_50.fit(X_train,y_train,batch_size = 512,validation_split=0.1,epochs=200)
+```
+
+* Вывели график функции ошибки
+```
+plt.plot(H_3l_100_50.history['loss'])
+plt.plot(H_3l_100_50.history['val_loss'])
+plt.grid()
+plt.xlabel('Epochs')
+plt.ylabel('loss')
+plt.legend(['train_loss','val_loss'])
+plt.title('Loss by epochs')
+plt.show()
+```
+
+![график функции ошибки](H_3l_100_50.png)
+
+```
+scores=model_3l_100_50.evaluate(X_test,y_test);
+print('Loss on test data:',scores[0]);
+print('Accuracy on test data:',scores[1])
+```
+
+> - accuracy: 0.9067 - loss: 0.3484
+>Loss on test data: 0.3573007583618164
+>Accuracy on test data: 0.9021999835968018 
+
+* при 100 нейронах во втором скрытом слое
+```
+model_3l_100_100 = Sequential()
+model_3l_100_100.add(Dense(units=100,input_dim=num_pixels, activation='sigmoid'))
+model_3l_100_100.add(Dense(units=100, activation='sigmoid'))
+model_3l_100_100.add(Dense(units=num_classes, activation='softmax'))
+model_3l_100_100.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
+model_3l_100_100.summary()
+```
+
+
+>Model: "sequential_2"
+>┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━┓
+>┃ Layer (type)                    ┃ Output Shape           ┃       Param # ┃
+>┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━┩
+>│ dense_3 (Dense)                │ (None, 100)            │        78,500 │
+>├─────────────────────────────────┼────────────────────────┼───────────────┤
+>│ dense_4 (Dense)                │ (None, 100)            │        10,100 │
+>├─────────────────────────────────┼────────────────────────┼───────────────┤
+>│ dense_5 (Dense)                │ (None, 10)             │         1,010 │
+>└─────────────────────────────────┴────────────────────────┴───────────────┘
+> Total params: 89,610 (350.04 KB)
+> Trainable params: 89,610 (350.04 KB)
+> Non-trainable params: 0 (0.00 B) '
+
+* Обучили модель
+```
+H_3l_100_100=model_3l_100_100.fit(X_train,y_train,batch_size = 512,validation_split=0.1,epochs=200)
+```
+
+* Вывели график функции ошибки
+```
+plt.plot(H_3l_100_100.history['loss'])
+plt.plot(H_3l_100_100.history['val_loss'])
+plt.grid()
+plt.xlabel('Epochs')
+plt.ylabel('loss')
+plt.legend(['train_loss','val_loss'])
+plt.title('Loss by epochs')
+plt.show()
+```
+
+![график функции ошибки](H_3l_100_100.png)
+
+```
+scores=model_3l_100_100.evaluate(X_test,y_test);
+print('Loss on test data:',scores[0]);
+print('Accuracy on test data:',scores[1])
+```
+
+> accuracy: 0.9062 - loss: 0.3420
+>Loss on test data: 0.35140201449394226
+>Accuracy on test data: 0.9049000144004822
+
+Количество	   Количество нейронов в	Количество нейронов во	Значение метрики
+скрытых слоев  первом скрытом слое      втором скрытом слое     качества классификации
+0	                     -	                      -	            0.9151999950408936
+1      	                100	                      -	            0.9154999852180481
+1	                    300	                      -	            0.9139000177383423
+1	                    500	                      -	            0.9122999906539917
+2	                    100	                      50	        0.9021999835968018
+2	                    100	                      100	        0.9049000144004822
+
+По значениям метрики качества классификации можно увидеть, что лучше всего справилась двухслойная сеть с 100 нейронами в скрытом слое. Наращивание кол-во слоев и кол-во нейронов в них не привели к желаемому росту значения метрики качества, а наоборот ухудшили ее. Вероятно связано это с тем, что для более мощных архитектур нужно увеличить обучающую выборку, чем есть сейчас у нас, иначе это приводит к переобучению сети.
+
+## 11. Сохранение наилучшей модели на диск
+```
+model_2l_100.save(filepath='best_model_2l_100_LR1.keras')
+```
+
+## 12. Вывод тестовых изображений и результатов распознаваний
+```
+n = 70
+result = model_2l_100.predict(X_test[n:n+1])
+print('NN output:', result)
+
+plt.imshow(X_test[n].reshape(28,28), cmap=plt.get_cmap('gray'))
+plt.show()
+print('Real mark: ', str(np.argmax(y_test[n])))
+print('NN answer: ', str(np.argmax(result)))
+```
+
+> NN output: [[2.1906348e-05 3.4767098e-05 9.9508625e-01 2.6498403e-04 6.9696616e-05
+>  1.0428299e-05 4.2126467e-03 3.0855140e-06 2.8133177e-04 1.4690979e-05]]
+![alt text](p2.png)
+>Real mark:  2
+>NN answer:  2 
+
+```
+n = 888
+result = model_2l_100.predict(X_test[n:n+1])
+print('NN output:', result)
+
+plt.imshow(X_test[n].reshape(28,28), cmap=plt.get_cmap('gray'))
+plt.show()
+print('Real mark: ', str(np.argmax(y_test[n])))
+print('NN answer: ', str(np.argmax(result)))
+```
+
+> NN output: [[4.7663169e-04 4.5776782e-05 2.2629092e-03 2.0417338e-04 2.9407460e-03
+>  1.9718589e-02 9.7267509e-01 4.5765455e-06 1.4325225e-03 2.3906169e-04]]
+![alt text](p6.png)
+>Real mark:  6
+>NN answer:  6 
+
+## 12. Тестирование на собственных изображениях
+* загрузили 1-ое собственное изображения
+```
+from PIL import Image
+file_1_data = Image.open('6.png')
+file_1_data = file_1_data.convert('L') #перевод в градации серого
+test_1_img = np.array(file_1_data)
+```
+
+* вывели собственное изображения
+```
+plt.imshow(test_1_img, cmap=plt.get_cmap('gray'))
+plt.show())
+```
+
+![1-ое изображение](6.png)
+
+* предобработка
+```
+test_1_img = test_1_img / 255
+test_1_img = test_1_img.reshape(1, num_pixels)
+```
+
+* распознавание
+```
+result_1 = model_2l_100.predict(test_1_img)
+print('I think it\'s', np.argmax(result_1))
+```
+> I think it's 6
+
+* тест на 2-ом изображении
+```
+file_2_data = Image.open('2.png')
+file_2_data = file_2_data.convert('L') #перевод в градации серого
+test_2_img = np.array(file_2_data)
+plt.imshow(test_2_img, cmap=plt.get_cmap('gray'))
+plt.show()
+```
+
+![2-ое изображение](2.png)
+
+```
+test_2_img = test_2_img / 255
+test_2_img = test_2_img.reshape(1, num_pixels)
+
+result_2 = model.predict(test_2_img)
+print('I think it\'s', np.argmax(result_2))
+```
+
+> I think it's 2 
+
+Сеть корректно распознала обе цифры 
+
+## 14. Тестирование на собственных повернутых изображениях
+```
+file_3_data = Image.open('6_90.png')
+file_3_data = file_3_data.convert('L') #перевод в градации серого
+test_3_img = np.array(file_3_data)
+
+plt.imshow(test_3_img, cmap=plt.get_cmap('gray'))
+plt.show()
+```
+
+![1-ое перевернутое изображение](6_90.png)
+
+```
+test_3_img = test_3_img / 255
+test_3_img = test_3_img.reshape(1, num_pixels)
+result_3 = model_2l_100.predict(test_3_img)
+
+print('I think it\'s', np.argmax(result_3))
+```
+
+> I think it's 9 
+
+```
+file_4_data = Image.open('2_90.png')
+file_4_data = file_4_data.convert('L') #перевод в градации серого
+test_4_img = np.array(file_4_data)
+
+plt.imshow(test_4_img, cmap=plt.get_cmap('gray'))
+plt.show()
+```
+
+![2-ое перевернутое изображение](2_90.png)
+
+```
+test_4_img = test_4_img / 255
+test_4_img = test_4_img.reshape(1, num_pixels)
+result_4 = model_2l_100.predict(test_4_img)
+
+print('I think it\'s', np.argmax(result_4))
+```
+
+> I think it's 5 
+
+Сеть не смогла распознать ни одну из перевернутых изображений.Связано это с тем, что мы не использовали при обучении перевернутые изображения.