docs: базовая документация всего сервиса и развёртывания

1 месяц назад · 667b6ac966
--- a/README.md
+++ b/README.md
@ -10,7 +10,7 @@

 ## Сервис предсказания цен

-См. `services/ml_service/README.md`.
+См. `services/README.md`.

 ## Исследовательская часть проекта

--- a/services/README.md
+++ b/services/README.md
@ -0,0 +1,131 @@
+# Сервис предсказания цен
+
+Веб-сервис предсказания цен на подержанные автомобили. Мониторинг в комплекте.
+
+Обзор сервисов (по `compose.yaml`, см. о развёртывании ниже):
+
+| Профили Compose |       Имя        |     Объекты      |     Описание     |
+|-----------------|------------------|------------------|------------------|
+| &mdash;         | `prices-predictor` | код: `ml_service/` | Веб-сервис предсказания цен, только stateless API. Об используемой предсказательной модели см. `research/README.md`. |
+| &mdash;         | `prometheus`     | конфигурация: `prometheus/` | Мониторинг сервиса ([Prometheus](https://prometheus.io/)). |
+| &mdash;         | `grafana`        | | Аналитика и визуализация данных мониторига сервиса ([Grafana](https://grafana.com/)). |
+| `with-testers`  | `load-tester`    | код: `load-tester/` | Генератор потока случайных запросов к `prices-predictor` для тестирования. |
+
+Дополнительно:
+
+* `models/` &mdash; расположение файла модели `model.pkl` для использования сервисом `prices-predictor`.
+  * `fetch_model_as_pickle_from_mlflow.py` &mdash; скрипт для экспорта предиктивной модели scikit-learn из MLFlow в файл.
+
+## API сервиса предсказания цен
+
+**Базовый URL**: `/api`. Все указанные далее URL записаны **относительно базового URL**, если не указано иное.
+
+* Полная интерактивная документация (Swagger UI): `/docs`.
+
+* Предсказать цену подержанного автомобиля: `/predict` (POST).
+
+  Пример запроса:
+
+  * requst query: `item_id=16` (параметр `item_id` необходим!);
+
+  * request body:
+
+    ```json
+    {
+        "selling_price": 5.59,
+        "driven_kms": 27000.0,
+        "age": 5.0,
+        "fuel_type": "petrol",
+        "selling_type": "dealer",
+        "transmission_type": "manual"
+    }
+    ```
+
+  * response body:
+
+    ```json
+    {
+        "item_id": 16,
+        "price": 3.743508852258851
+    }
+    ```
+
+* Тестовый эндпоинт: `/` (GET).
+
+  Возвращает простой демонстрационный объект JSON.
+
+  Может использоваться для проверки состояния сервиса.
+
+## Развёртывание
+
+### Файл модели
+
+Файл используемой предсказательной модели можно извлечь из MLFlow скриптом `models/fetch_model_as_pickle_from_mlflow.py`. Файл модели можно размещается в `models/model.pkl`.
+
+Например, извлечь модель по имени (`<model-name>`) и версии (`<model-version>`) (например, `UsedCardPricePredictionFinal/1`) (команда запускается из корневой директории проекта &mdash; от этого зависит путь к создаваемому файлу):
+
+    python services/models/fetch_model_as_pickle_from_mlflow.py --model "models:/<model-name>/<model-version>" services/models/model.pkl
+
+Можно указать адрес tracking сервера MLFlow, например: `--tracking-uri "http://localhost:5000"`.
+
+Информация о других опциях доступна:
+
+    python services/models/fetch_model_as_pickle_from_mlflow.py --help
+
+### Образы Docker
+
+#### `ml_model` (для сервиса `prices-predictor`)
+
+**Сборка образа** (замените `<version>` на номер версии) (команда запускается из корневой директории проекта &mdash; от этого зависит путь к директории):
+
+    docker build -t ml_service:<version> services/ml_service/
+
+**Независимый запуск** (замените `<version>` на номер версии образа, `<models-dir>` на **абсолютный** путь к директории, где размещён файл предсказательной модели `model.pkl`, `<port>` на порт для запуска веб-сервиса (например, `8000`)):
+
+    docker run -v "<models-dir>:/models" -p <port>:8000 ml_service:<version>
+
+Модель может быть размещена в `models/`; тогда, например, при запуске команды из корна проекта: `$(pwd)/services/models` (здесь `$(pwd)` используется потому, что необходим абсолютный путь).
+
+#### `load-tester` (для сервиса `load-tester`)
+
+**Сборка образа** (замените `<version>` на номер версии) (команда запускается из корневой директории проекта &mdash; от этого зависит путь к директории):
+
+    docker build -t load_tester:<version> services/load_tester/
+
+**Независимый запуск** (замените `<version>` на номер версии образа, `<api-base-url>` на базовый URL сервиса `prices-predictor` (например, `http://prices-predictor:8000/api`)):
+
+    docker run -e "API_BASE_URL=<api-base-url>" ml_service:<version>
+
+### Развёртывание сервиса посредством Compose
+
+Конфигурация описана в файле `compose.yaml`. Имя системы: `mpei-iis-system`.
+
+Рекомендуется (не обязательно) использовать env-файл `compose.env`. Используйте файл `compose.env.template` как шаблон.
+
+**Директория `models/` используется сервисом `prices-predictor` как том** с файлом модели `model.pkl`. Поместите туда файл модели, см. [Файл модели](#файл-модели).
+
+**Управление сервисом с мониторингом** (замените `<command>` и `[options...]`):
+
+    docker compose -f services/compose.yaml --env-file services/compose.env <command> [options...]
+
+**Для запуска вместе с генераторами тестовых запросов** используйте опцию compose `--profile=with-tester`.
+
+Основные команды `docker compose`:
+
+* `up`: создать и запустить контейнеры (также тома, сети и прочее); оставляет вывод логов прикреплённым к терминалу, `SIGINT` останавливает контейнеры, **но не удаляет созданные объекты**;
+  * опция `-d`: то же, но открепляет процесс от терминала.
+* `down`: остановить и удалить контейнеры (также сети и прочее; для удаления томов используйте опцию `-v`).
+* `start`: запустить существующие контейнеры.
+* `stop`: остановить контейнеры.
+* `restart`: перезапустить контейнеры.
+
+**Открытые на хосте интерфейсы**:
+
+* `localhost:8010`: Сервис `prices-predictor`. Базовый URL: `/api`.
+* `localhost:9090`: UI Prometheus.
+* `localhost:3000`: Grafana.
+
+**Доступные на хосте тома**:
+
+* `mpei-iis-system_prometheus-storage`: БД Prometheus.
+* `mpei-iis-system_grafana-storage`: БД Grafana.
--- a/services/ml_service/README.md
+++ b/services/ml_service/README.md
@ -1,71 +0,0 @@
-# Сервис предсказания цен
-
-Веб-сервис предсказания цен на подержанные автомобили; только stateless API. Об используемой предсказательной модели см. `research/README.md`.
-
-## API
-
-**Базовый URL**: `/api`. Все указанные далее URL записаны **относительно базового URL**, если не указано иное.
-
-* Полная интерактивная документация (Swagger UI): `/docs`.
-
-* Предсказать цену подержанного автомобиля: `/predict` (POST).
-
-  Пример запроса:
-
-  * requst query: `item_id=16` (параметр `item_id` необходим!);
-
-  * request body:
-
-    ```json
-    {
-        "selling_price": 5.59,
-        "driven_kms": 27000.0,
-        "age": 5.0,
-        "fuel_type": "petrol",
-        "selling_type": "dealer",
-        "transmission_type": "manual"
-    }
-    ```
-
-  * response body:
-
-    ```json
-    {
-        "item_id": 16,
-        "price": 3.743508852258851
-    }
-    ```
-
-* Тестовый эндпоинт: `/` (GET).
-
-  Возвращает простой демонстрационный объект JSON.
-
-  Может использоваться для проверки состояния сервиса.
-
-## Развёртывание
-
-### Файл модели
-
-Файл используемой предсказательной модели `model.pkl` можно извлечь из MLFlow скриптом `services/models/fetch_model_as_pickle_from_mlflow.py`. Файл модели можно разместить в директории проекта, а именно в `services/models/`.
-
-Например, извлечь модель по имени (`<model-name>`) и версии (`<model-version>`) (например, `UsedCardPricePredictionFinal/1`) (команда запускается из корневой директории проекта &mdash; от этого зависит путь к создаваемому файлу):
-
-    python services/models/fetch_model_as_pickle_from_mlflow.py --model "models:/<model-name>/<model-version>" services/models/model.pkl
-
-Можно указать адрес tracking сервера MLFlow, например: `--tracking-uri "http://localhost:5000"`.
-
-Информация о других опциях доступна:
-
-    python services/models/fetch_model_as_pickle_from_mlflow.py --help
-
-### Образ Docker
-
-Сборка образа (замените `<version>` на номер версии) (команда запускается из корневой директории проекта &mdash; от этого зависит путь к директории):
-
-    docker build -t ml_service:<version> services/ml_service/
-
-Запуск образа (замените `<version>` на номер версии образа, `<models-dir>` на **абсолютный** путь к директории, где размещён файл предсказательной модели `model.pkl`, `<port>` на порт для запуска веб-сервиса (например, `8000`)):
-
-    docker run -v "<models-dir>:/models" -p <port>:8000 ml_service:<version>
-
-Модель может быть размещена в директории проекта; тогда, например, при запуске команды из корна проекта: `$(pwd)/services/models` (здесь `$(pwd)` используется потому, что необходим абсолютный путь).