# Лабораторная работа №1. Настройка окружения и разведочный анализ данных.

## Цель работы
Подготовить структуру проекта и провести разведочный анализ данных. Результаты первой лабораторной работы будут использоваться в дальнейшем цикле работ.

## Подготовка
Лабораторные работы проводятся под ОС Ubuntu 22_04. 
Для работы на домашних компьютерах рекомендуется использовать виртуальную машину. Для этого нужно скачать [VM VirtualBox](https://www.virtualbox.org/wiki/Downloads).

### Загрузка из готового образа
Можно воспользоваться готовым образом, установленным в лаборатории. Его можно получить в лаборатории.

Для запуска образа - открыть VirtualBox, во вкладке "Инструменты" выбрать "Добавить". В открывшемся окне указать путь до образа.

```
Пользовать: mainuser
Пароль: user
```

### Создать виртуальную машину самостоятельно
Также, можно развернуть виртуальную машину самостоятельно. Для этого:

1) Скачать [образ Ubuntu](https://releases.ubuntu.com/22.04/?_gl=1*mq5vpt*_gcl_au*MTMzMTcyODYxMS4xNzI2ODUwMDQw&_ga=2.106214661.763905817.1726850040-745176292.1717007080) (~5Gb)

2) Запустить VirtualBox, в меню "Инструменты" выбрать пункт "Создать". Задать название создаваемой машины, например "Ubuntu", при необходимости изменить расположение создаваемой машины, выбрать образ ОС, скачанный в п.2.

В следующем окне задать имя пользователя (в лаборатории это mainuser) и задать пароль

В следующем окне указать количество выделяемых для машины ресурсов. 
Рекомендуется выделить 8Gb памяти и 6 ядер процессора.

В следующем окне выбрать "создать новый виртуальный жесткий диск, выделив на него не не менее 25Gb.

В следующем окне проверить все настройки и нажать кнопку "Готово".

3) После установки запустить виртуальную машину и установить в нее VS Code [Инструкция](https://code.visualstudio.com/docs/setup/linux), а также Git [Инструкция](https://git-scm.com/download/linux)


## Задание

1. Создать директорию, в которой будет разрабатываться проект, продумав его структуру  
2. Создать и активировать виртуальное окружение
3. Установить требуемые библиотеки 
4. Создать и заполнить файл `requirements.txt`
5. Создать файл `README.md`, в который будут записываться все основные этапы работы 
-----
6. Инициализировать `git` репозитарий
7. Создать и заполнить файл `.gitignore`
8. Сделать первоначальный коммит, содержащий созданные файлы.
9. Создать на `github.com` (или любом другом сервисе) удаленное хранилище
10. Отправить созданные коммиты в удаленное хранилище
-----
11. Загрузить локально датасет
12. Провести разведочный анализ данных.
13. В файл `README.md` сохранить выводы, полученные в ходе EDA 
14. Закоммитить блокнот с EDA и другие измененные файлы в удаленный репозитарий
15. Файл с обработанными данными сохранить себе на флешку или любым другим способом (файлы с данными в репозитарий НЕ СОХРАНЯЮТСЯ!)

## Методические указания

### 0 
Выбрать датасет для дальнейшей работы:
* [Heart disease classification](https://www.kaggle.com/datasets/krishujeniya/heart-diseae)
* [Car Price prediction](https://www.kaggle.com/datasets/vijayaadithyanvg/car-price-predictionused-cars/data)
* [Mobile price classification](https://www.kaggle.com/datasets/iabhishekofficial/mobile-price-classification/code)

Кроме того, допускается использовать свой датасет, если он отвечает условиям:
* Решение задачи классификации или регрессии
* Табличные данные (не текст, не изображения, не видео,...)
* Не менее 7 признаков, среди котороых есть и числовые, и категориальные
* Не менее 300 объектов



### 1
Создадим основную директорию с проектом. Сделать это нужно в домашней директории `~/` виртуальной машины. На рабочий стол вынесен ярлык к домашней директории (Home). В ней следует создать новую папку, в которой вы будете делать ваш проект, например `my_proj`. Таким образом, полный путь до вашей папки будет `/home/mainuser/my_proj` или просто `~/my_proj`. 

> Очень удобно все действия далее по созданию файлов и папок выполнять из терминала VS Code. 

> Запустите VS Code, выберите пункт "Open folder", выберите созданную директорию с проектом.

> Запустите новый терминал `Terminal` > `New Terminal`. 

> Подсказки по основным командам терминала Linux на слайде лекции №2 

> При выполнении действий в терминале не забывайте проверять, в какой директории находитесь! 

Структурируем основную директорию таким образом, чтобы все ключевые этапы, модули и данные находились в своих папках. Это улучшит читаемость проекта и дальнейшее сопровождение.

На данном этапе предлагается создать две директории: `data` и `eda`.

В первой будут храниться исходные данные, а также, те, которые могут в дальнейшем возникнуть в ходе создания проекта. 
В директории `eda` будут храниться артефакты, связанные с разведочным анализом данных: блокнот с проведенныеми исследованиями и сохраненные графики.
Текущая структура должна быть примерно следующей:

```
my_proj
 |_____ data
 |_____ eda
```

### 2
Создавать виртуальное окружение необходимо в корневой директории. Название для папки с виртуальным окружением следует выбирать таким, чтобы было понятно, для какого проекта она создается. Кроме того, чтобы папку сделать скрытой, следует первым символом в названии сделать точку, например `.venv_my_proj` 
После создания в корневой директории проекта должна появиться новая папка c `venv`:
```
my_proj
 |_____ .venv_my_proj
 |_____ data
 |_____ eda
```
Далее следует активировать виртуальное окружение в терминале. Если оно активировано правильно, в приглашении перед именем пользователя и текщей директорией в круглых скобках будет выведено название папки с `venv`:

`
(.venv_my_proj) andrey@andrey-lenovo:~/iis/my_proj$ 
`

### 3 
Перед любой установкой библиотек (и сейчас, и далее, во всем цикле лабораторных) следует еще раз убедиться, что виртуальное окружение активировано (см. предыдущий пункт). Устанавливать библиотеки (пакеты) следует **ТОЛЬКО В ВИРТУАЛЬНОЕ ОКРУЖЕНИЕ!** 

На данном шаге нам точно потребуется установить пакет `pandas`, `matplotlib`.

### 4 
Чтобы иметь возможность проект развернуть на другом компьютере, вместе с кодом необходимо передать файл с зависимостями - с теми пакетами, которые необходимы для работы проекта и которые нужно установить. Стандартное название у этого файла `requirements.txt` - создайте его в корневой директории. 

На данном этапе в него нужно записать те пакеты, которые были установлены в предыдущем пункте. Каждый пакет записывается в новой строке. В дальнейшем вам скорее всего нужно будет доустанавливать какие-то другие библиотеки. Не забывайте после каждого `pip install` обновлять файл `requirements.txt`. 

__Хорошей практикой__ вместе с названием пакета указывать и его версию. Чтобы узнать, какая версия установлена в данный момент в вашем venv можно выполнить команду `pip freeze` - она выведет все установленные в данный момент пикеты вместе с их версиями.

__Плохой практикой__ является создание файла `requirements.txt` как результат вывода команды `pip freeze`.
`pip freeze` выводит __все__ установленные пакеты, даже те, которые подтягиваются в виде зависимостей. 
Этот список может быть крайне большим и абсолютно излишним. 
Компактный файл `requirements.txt`, содержащий только основные требуемые пакеты, позволяет лучше понимать что происходит в вашем проекте.


На данном этапе `requirements.txt` должен выглядеть примерно так: 
```
pandas==2.2.2
matplotlib==3.9.2
```
Структура проекта так:
```
my_proj
 |_____ .venv_my_proj
 |_____ data
 |_____ eda
 |_____ requirements.txt
```

### 5

Создайте файл `README.md` и начните его наполнять - добавьте описание проекта, а также те команды, которые нужно выполнить, чтобы иметь возможность дома развернуть проект и продолжить над ним работу.

Файл `README.md` является "лицом проекта". Именно его содержание отображается на странице репозитория в github (и других системах). Поэтому его содеражание всегда должно быть актуальным, а структура четкой и понятной. Файл обычно пишется на языке разметки `markdown`, базовый синтактис которого можно [посмотреть здесь](https://www.markdownguide.org/basic-syntax/)  

`README.md` в нашем цилке работ обязательно должен содержать такие разделы:
* Описание проекта - краткое описание того, какая задача решается
* Запуск - Как запустить проект. С указанием подробных команд: клонирование проекта из репозитория, переход в склонированную папку с проектом, установка и активация виртуального окружения, установка в окружение всех требуемых библиотек.

> Шаги из данного раздела должны быть полностью корректными и актуальными. Это очень сильно пригодится вам самим, когда вы захотите по прошествие времени снова запустить этот проект :)   
 
* Описание модулей проекта. На текущем этапе - результаты и выводы EDA. В дальнейшем добавится описание сервисов.


> Обращу внимание, что файл со временем может не только дополняться, но и изменяться его структура. Но его содержание должно быть актуальным на каждом коммите. Например, сейчас в разделе "Запуск" будут те команды, которые необходимы для воспроизведения ЛР1. После выполнения очередной ЛР в нем должна быть актуальная информацию по запуску проекта из новой ЛР. При этом, откатившись к итоговому коммиту любой из лабораторных работ ожидается увидеть в файле актуальное для этой работы описание. 

> В дальнейшем команды для запуска будут дополняться или даже полностью меняться. Это нормально.

### 6
> Освежить в памяти работу с git можно, например, [тут](https://skillbox.ru/media/code/osnovnye-komandy-dlya-raboty-s-git-i-github/)

Инициализировать репозитарий следует в корневой директории проекта.
После инициализации структура проекта должна выглядеть так:
```
my_proj
 |_____ .venv_my_proj
 |_____ .git
 |_____ data
 |_____ eda
 |_____ README.md
 |_____ requirements.txt
```
> папка `.git` может не отображаться, убедиться в том что репозитарий создан, можно командой `git status`

### 7 
Добавить в корень проекта файл `.gitignore`. 
Сразу нужно занести в него следующие правила: 
* не должны коммититься текстовые файлы с данными (расширение `.csv`)
* не должны коммититься бинарные файлы с расширением `.pkl`
* в коммиты не должны попадать папки с виртуальными окружениями - папки, начинающиеся с `.venv`

### 8
Добавить созданные файлы в индекс и закоммитить изменения. Пустые папки не коммитятся, на этом этапе нам это и не нужно.

### 9, 10
Создать удаленный репозитарий, связать его с локальным, запушить коммит(ы).
> При создании репозитария обычно дают подсказки, какими командами можно связаться с локальным. Примерно так:
```
git remote add origin git@github.com:remote_repo_name.git
git branch -M master
git push -u origin master
```

### 11
Загрузите в папку `./data` ваш датасет. Структура проекта должны быть следующая:
```
my_proj
 |_____ .venv_my_proj
 |_____ .git
 |_____ data
 |        |___ dataset.csv
 |
 |_____ eda
 |_____ .gitignore
 |_____ README.md
 |_____ requirements.txt

```
### 11
Создайте в папке `./eda` новый интерактивный блокнот 
Структура проекта должны быть следующая:
```
my_proj
 |_____ .venv_my_proj
 |_____ .git
 |_____ data
 |       |___ dataset.csv
 |
 |_____ eda
 |       |___ eda.ipynb
 |
 |_____ .gitignore
 |_____ README.md
 |_____ requirements.txt

```
### 12 
Выполнить разведочный анализ вашего датасета.

> При установке новых библиотек не забывайте обновлять файл `requirements.txt`

Блокнот нужно структурировать по основынм действиям: 
* Загрузка данных и знакомство с ними - 
* Очистка данных 
* Анализ признаков для модели 
* Сохранение финального датасета
* Выводы


В загрузке и знакомстве с данными показать основные статистики, сделать выводы о признаках, выделить столбцы с числовыми признаками и категориальными, выделить столбец с целевой переменной. Проверить типы данных каждого столбца и при необходимости откорректировать их.

В очистке данных следует удалить невалидные данные, удалить или восстановить провущенные значения  

Раздел "Анализ признаков для модели" должен содержать набор графиков, позволяющих сделать полезные выводы о данных, о зависимости целевой переменной от признаков. 
Необходимо построить **не менее 5 графиков**, из которых **минимум один должен быть интерактивным**. 

Каждый график нужно сохранить в виде файла в директорию `eda`. 

Поле каждого графика требуется написать **вывод** о выявленных зависимостях. 
Кроме того, на этом этапе могут быть сформированы новые признаки по выявленным закономерностям.

Финальный датасет после очистки следует сохранить. Именно с очищенным датасетом мы будем работать в следующих лабораторных работах. Рекомендуется сохранить его в формате `pickle` чтобы сохранилась информация о типах данных столбцов 

В выводах, следует указать:
* перечислить все действия, проведенные на этапе очистки данных
* Создавались ли новые признаки? 
* Какие закономерности выявлены по графикам, которые могут быть полезны в дальнейшем для решния задачи? - можно переписать все выводы, записанные после каждого графика.

### 13
В файл `README.md` сохранить выводы, полученные в ходе EDA.
Также убедитесь, что в файле содержатся подробные инструкции по запуску проекта.

### 14
На данном шаге структура проекта должна быть следующая:
```
my_proj
 |_____ .venv_my_proj
 |_____ .git
 |_____ data
 |       |___ dataset.csv
 |       |___ clean_dataset.pkl
 |
 |_____ eda
 |       |___ eda.ipynb
 |       |___ graph1.png
 |       |___ graph2.png
 |       |___ graphN.png
 |
 |_____ .gitignore
 |_____ README.md
 |_____ requirements.txt

```

 
> Файлы с данными никогда не коммитятся! Во-первых, они имеют большой размер, во-вторых, они могут содержать чувствительную информацию и должны передаваться другими каналами.

> Будьте аккуратны с интерактивными графиками - они могут занимать десятки мегабайт и из-за них может раздуваться размер блокнота. Перед коммитом посмотрите, сколько места занимают графики и **Не комитьте** графики размером более 10 Мб.

> Также, чтобы не раздувать размер блокнота, загружаемого в репозитарий, рекомендуется удалить вывод этих графиков под ячейкой (нажав рядом я ячейкой на кнопку с точками и выбрав *clear cell output*) 

> Убедитесь, что файл `requirements.txt` содержит все библиотеки, используемые в проекте. Это можно сделать, например, пройдясь по инструкциям `import` в коде.

Закоммитить блокнот с EDA и другие измененные файлы в удаленный репозитарий.

### 15

Файлы с обработанными данными, а также большие графики, которые не попали в репозитарий сохраните себе на флешку или любым другим способом.
Обратите внимание, что с этими данными вы продолжите работать в следующих лабораторных работах. Сохранность файлов на виртуальной машине **НЕ ГАРАНТИРУЕТСЯ**.



## Контрольные вопросы

1. Для чего нужен и как используется файл `requirements.txt`
1. Что такое "виртуальное окружение"
1. Как установить виртуальное окружение для проекта
1. Для чего нужен этап разведочного анализа данных? Какие цели на нем решаются?
1. Какие типы графиков вы знаете и в каких случаях лучше применять тот или иной тип?