Изменил(а) на 'labworks/LW1/report.md'

ShchipkovMY 2 недель назад
Родитель cd25ee32df
Сommit 9ac6afc545

@ -16,11 +16,14 @@ import sklearn
``` ```
### Пункт 2 ### Пункт 2
Загрузили набор данных MNIST, содержащий размеченные изображения рукописных цифр. Загрузили набор данных MNIST, содержащий размеченные изображения рукописных цифр.
```python
from keras.datasets import mnist from keras.datasets import mnist
```
### Пункт 3 ### Пункт 3
Разбили набор данных на обучающие и тестовые данные в соотношении 60000:10000 элементов. При разбиении параметр random_state выбрали 11. Разбили набор данных на обучающие и тестовые данные в соотношении 60000:10000 элементов. При разбиении параметр random_state выбрали 11.
Вывели размерности полученных обучающих и тестовых массивов данных. Вывели размерности полученных обучающих и тестовых массивов данных.
```python
(X_train,y_train),(X_test,y_test)=mnist.load_data() (X_train,y_train),(X_test,y_test)=mnist.load_data()
from sklearn.model_selection import train_test_split from sklearn.model_selection import train_test_split
#объединяем в один набор #объединяем в один набор
@ -49,10 +52,12 @@ print(y_train[3])
plt.imshow(X_train[4],cmap=plt.get_cmap('gray')) plt.imshow(X_train[4],cmap=plt.get_cmap('gray'))
plt.show() plt.show()
print(y_train[4]) print(y_train[4])
```
### Пункт 5 ### Пункт 5
Провели предобработку данных: привели обучающие и тестовые данные к формату, пригодному для обучения нейронной сети. Провели предобработку данных: привели обучающие и тестовые данные к формату, пригодному для обучения нейронной сети.
Входные данные должны принимать значения от 0 до 1, метки цифрдолжны быть закодированы по принципу «one-hotencoding».Вывели размерности предобработанных обучающих и тестовых массивов данных. Входные данные должны принимать значения от 0 до 1, метки цифрдолжны быть закодированы по принципу «one-hotencoding».Вывели размерности предобработанных обучающих и тестовых массивов данных.
```python
#развернем каждое изображение 28*28 в вектор 784 #развернем каждое изображение 28*28 в вектор 784
num_pixels=X_train.shape[1]*X_train.shape[2] num_pixels=X_train.shape[1]*X_train.shape[2]
X_train=X_train.reshape(X_train.shape[0],num_pixels) / 255 X_train=X_train.reshape(X_train.shape[0],num_pixels) / 255
@ -65,9 +70,11 @@ y_train=keras.utils.to_categorical(y_train)
y_test=keras.utils.to_categorical(y_test) y_test=keras.utils.to_categorical(y_test)
print('Shape of transformed y train:',y_train.shape) print('Shape of transformed y train:',y_train.shape)
num_classes=y_train.shape[1] num_classes=y_train.shape[1]
```
### Пункт 6 ### Пункт 6
Реализовали модель однослойной нейронной сети и обучили ее на обучающих данных с выделением части обучающих данных в качестве валидационных. Вывели информацию об архитектуре нейронной сети. Вывели график функции ошибки на обучающих и валидационных данных по эпохам. Реализовали модель однослойной нейронной сети и обучили ее на обучающих данных с выделением части обучающих данных в качестве валидационных. Вывели информацию об архитектуре нейронной сети. Вывели график функции ошибки на обучающих и валидационных данных по эпохам.
```python
from keras.models import Sequential from keras.models import Sequential
from keras.layers import Dense from keras.layers import Dense
@ -86,16 +93,22 @@ plt.ylabel('loss')
plt.legend(['train_loss', 'val_loss']) plt.legend(['train_loss', 'val_loss'])
plt.title('Loss by epochs') plt.title('Loss by epochs')
plt.show() plt.show()
```
### Пункт 7 ### Пункт 7
Применили обученную модель к тестовым данным. Вывели значение функции ошибки и значение метрики качества классификации на тестовых данных. Применили обученную модель к тестовым данным. Вывели значение функции ошибки и значение метрики качества классификации на тестовых данных.
```python
# Оценка качества работы модели на тестовых данных # Оценка качества работы модели на тестовых данных
scores = model_1.evaluate(X_test, y_test) scores = model_1.evaluate(X_test, y_test)
print('Loss on test data:', scores[0]) print('Loss on test data:', scores[0])
print('Accuracy on test data:', scores[1]) print('Accuracy on test data:', scores[1])
```
### Пункт 8 ### Пункт 8
Добавили в модель один скрытый и провели обучение и тестирование при 100, 300, 500 нейронах в скрытом слое. По метрике качества классификации на тестовых данных выбрали наилучшее количество нейронов в скрытом слое. Добавили в модель один скрытый и провели обучение и тестирование при 100, 300, 500 нейронах в скрытом слое. По метрике качества классификации на тестовых данных выбрали наилучшее количество нейронов в скрытом слое.
При 100 нейронах При 100 нейронах
```python
# создаем модель # создаем модель
model_1h100 = Sequential() model_1h100 = Sequential()
model_1h100.add(Dense(units=100, input_dim=num_pixels, activation='sigmoid')) model_1h100.add(Dense(units=100, input_dim=num_pixels, activation='sigmoid'))
@ -123,8 +136,10 @@ plt.show()
scores = model_1h100.evaluate(X_test, y_test) scores = model_1h100.evaluate(X_test, y_test)
print('Loss on test data:', scores[0]) print('Loss on test data:', scores[0])
print('Accuracy on test data:', scores[1]) print('Accuracy on test data:', scores[1])
```
При 300 нейронах При 300 нейронах
```python
# создаем модель # создаем модель
model_1h300 = Sequential() model_1h300 = Sequential()
model_1h300.add(Dense(units=300, input_dim=num_pixels, activation='sigmoid')) model_1h300.add(Dense(units=300, input_dim=num_pixels, activation='sigmoid'))
@ -152,8 +167,10 @@ plt.show()
scores = model_1h300.evaluate(X_test, y_test) scores = model_1h300.evaluate(X_test, y_test)
print('Loss on test data:', scores[0]) print('Loss on test data:', scores[0])
print('Accuracy on test data:', scores[1]) print('Accuracy on test data:', scores[1])
```
При 500 нейронах При 500 нейронах
```python
# создаем модель # создаем модель
model_1h500 = Sequential() model_1h500 = Sequential()
model_1h500.add(Dense(units=500, input_dim=num_pixels, activation='sigmoid')) model_1h500.add(Dense(units=500, input_dim=num_pixels, activation='sigmoid'))
@ -181,11 +198,16 @@ plt.show()
scores = model_1h500.evaluate(X_test, y_test) scores = model_1h500.evaluate(X_test, y_test)
print('Loss on test data:', scores[0]) print('Loss on test data:', scores[0])
print('Accuracy on test data:', scores[1]) print('Accuracy on test data:', scores[1])
```
Наилучшую метрику наблюдаем при архитектуре со 100 нейронами в скрытом слое. Наилучшую метрику наблюдаем при архитектуре со 100 нейронами в скрытом слое.
### Пункт 9 ### Пункт 9
Добавили в наилучшую архитектуру, определенную в п. 8, второй скрытый слой и провели обучение и тестирование при 50 и 100 нейронах во втором скрытом слое. Добавили в наилучшую архитектуру, определенную в п. 8, второй скрытый слой и провели обучение и тестирование при 50 и 100 нейронах во втором скрытом слое.
При 50 нейронах При 50 нейронах
```python
# создаем модель # создаем модель
model_1h100_2h50 = Sequential() model_1h100_2h50 = Sequential()
model_1h100_2h50.add(Dense(units=100, input_dim=num_pixels, activation='sigmoid')) model_1h100_2h50.add(Dense(units=100, input_dim=num_pixels, activation='sigmoid'))
@ -214,8 +236,10 @@ plt.show()
scores = model_1h100_2h50.evaluate(X_test, y_test) scores = model_1h100_2h50.evaluate(X_test, y_test)
print('Loss on test data:', scores[0]) print('Loss on test data:', scores[0])
print('Accuracy on test data:', scores[1]) print('Accuracy on test data:', scores[1])
```
При 100 нейронах При 100 нейронах
```python
# создаем модель # создаем модель
model_1h100_2h100 = Sequential() model_1h100_2h100 = Sequential()
model_1h100_2h100.add(Dense(units=100, input_dim=num_pixels, activation='sigmoid')) model_1h100_2h100.add(Dense(units=100, input_dim=num_pixels, activation='sigmoid'))
@ -244,6 +268,7 @@ plt.show()
scores = model_1h100_2h100.evaluate(X_test, y_test) scores = model_1h100_2h100.evaluate(X_test, y_test)
print('Loss on test data:', scores[0]) print('Loss on test data:', scores[0])
print('Accuracy on test data:', scores[1]) print('Accuracy on test data:', scores[1])
```
### Пункт 10 ### Пункт 10
Результаты исследования архитектуры нейронной сети занесли в таблицу Результаты исследования архитектуры нейронной сети занесли в таблицу
@ -263,10 +288,13 @@ print('Accuracy on test data:', scores[1])
Исходя из нашего исследования, можно сделать вывод о том, что наилучшая архитектра - это архитектура с двумя скрытыми слоями (100 нейронов на первом скрытом слое и 100 на втором). Исходя из нашего исследования, можно сделать вывод о том, что наилучшая архитектра - это архитектура с двумя скрытыми слоями (100 нейронов на первом скрытом слое и 100 на втором).
### Пункт 11 ### Пункт 11
Сохранили наилучшую нейронную сеть на диск Сохранили наилучшую нейронную сеть на диск
```python
model_1h100_2h100.save('best_model.keras') model_1h100_2h100.save('best_model.keras')
```
### Пункт 12 ### Пункт 12
Вывели результаты тестирования модели Вывели результаты тестирования модели
```python
# вывод тестового изображения и результата распознавания 1 # вывод тестового изображения и результата распознавания 1
n = 123 n = 123
result = model_1h100_2h100.predict(X_test[n:n+1]) result = model_1h100_2h100.predict(X_test[n:n+1])
@ -275,9 +303,12 @@ plt.imshow(X_test[n].reshape(28,28), cmap=plt.get_cmap('gray'))
plt.show() plt.show()
print('Real mark: ', str(np.argmax(y_test[n]))) print('Real mark: ', str(np.argmax(y_test[n])))
print('NN answer: ', str(np.argmax(result))) print('NN answer: ', str(np.argmax(result)))
```
### Пункт 13 ### Пункт 13
Создали собственные изображения чисел Создали собственные изображения чисел
```python
# загрузка собственного изображения # загрузка собственного изображения
from PIL import Image from PIL import Image
file_data = Image.open('five_v3.png') file_data = Image.open('five_v3.png')
@ -294,9 +325,12 @@ test_img = test_img.reshape(1, num_pixels)
# распознавание # распознавание
result = model_1h100_2h100.predict(test_img) result = model_1h100_2h100.predict(test_img)
print('I think it\'s ', np.argmax(result)) print('I think it\'s ', np.argmax(result))
```
### Пункт 14 ### Пункт 14
Создали копию нарисованных чисел и повернем их на 90 градусов. Протестируем работу нейронной сети. Создали копию нарисованных чисел и повернем их на 90 градусов. Протестируем работу нейронной сети.
```python
file_data = Image.open('three_v3_rotated.png') file_data = Image.open('three_v3_rotated.png')
file_data = file_data.convert('L') # перевод в градации серого file_data = file_data.convert('L') # перевод в градации серого
test_img = np.array(file_data) test_img = np.array(file_data)
@ -324,5 +358,7 @@ test_img = test_img.reshape(1, num_pixels)
# распознавание # распознавание
result = model_1h100_2h100.predict(test_img) result = model_1h100_2h100.predict(test_img)
print('I think it\'s ', np.argmax(result)) print('I think it\'s ', np.argmax(result))
```
Нейросеть некорректно определила повернутые изображения. Нейросеть некорректно определила повернутые изображения.
Загрузка…
Отмена
Сохранить