Вы не можете выбрать более 25 тем
Темы должны начинаться с буквы или цифры, могут содержать дефисы(-) и должны содержать не более 35 символов.
126 строки
9.4 KiB
Markdown
126 строки
9.4 KiB
Markdown
# Лабораторная работа №1. Знакомство с Hadoop
|
|
|
|
## Цель
|
|
|
|
* Установить вирутальную машину с Hadoop
|
|
* Познакомиться с работой в файловой системе HDFS
|
|
* Реализовать MapReduce задачу для подсчета слов в тексте (Word Count)
|
|
|
|
## Выполнение
|
|
|
|
Защита лабораторной работы подразумевает наличие отчета, который должен содержать пункты задания, команды, которые вы вводите и ответы системы на них.
|
|
При необходимости - комментарии по полученным результатам.
|
|
|
|
### Установка вирутальной машины
|
|
На компьютере должна быть установлена вирутальная машина Oracle VM VirtualBox. Скачать дистрибутив можно по [ссылке](https://www.virtualbox.org/wiki/Downloads) (распространяется бесплатно под лицензией GPLv2)
|
|
Кроме того, на компьютере должен находиться образ виртуальной машины (файлы с расширением `.ovf` и `.vmdk`). В лаборатории его можно скачать из сетевой папки компьютера DESKTOP_TENJU5T.
|
|
Для установки образа нужно выполнить следующие действия:
|
|
|
|
* Открыть VirtualBox
|
|
* В меню "Файл" выбрать "Импорт конфигурации".
|
|
* Указать путь до файла с образом `.ovf`.
|
|
* В параметрах импорта указать размер памяти ОЗУ 8192 Мб, остальное оставить без изменений.
|
|
* Нажать кнопку "Импорт" и дождаться завершения.
|
|
|
|
В меню появится новая виртуальная машина - включить ее и дождаться загрузки
|
|
|
|
### Знакомство с работой в файловой системе HDFS
|
|
Для выполнения этой лабораторной работы используте терминал, а не файловые менеджеры.
|
|
|
|
1. В домашней директории локальной файловой системы создайте директорию `stud`. **В дальнейшем все требуемые файлы создавайте в этой директории**
|
|
|
|
2. Создайте текстовый файл `hello_hadoop.txt` с двумя строками. В первой строке - Фамилия и Имя, во второй строке - текст:
|
|
|
|
_Hello Hadoop! The Apache Hadoop is a framework that allows the distributed processing of large data sets across clusters of computers using simple programming models.
|
|
Hadoop provides a software framework for distributed storage and processing of big data_
|
|
|
|
|
|
3. Сформируйте текстовый файл большого объема (начиная от нескольких Мб). Например, воспользуйтесь сайтом [lib.ru](http://lib.ru/).
|
|
|
|
Скачать текстовый файл можно с помощью команды `wget`, передав в кавычках адрес файла, например:
|
|
|
|
```
|
|
wget "http://lib.ru/LITRA/PUSHKIN/p3.txt"
|
|
```
|
|
|
|
|
|
4. Поверьте, что файл имеет корректную кодировку. При необходимости, исправить кодировку можно одной из команд, которые запишут результат в новый файл:
|
|
```
|
|
cat p3.txt | iconv -f windows-1251 -t utf8 > p3_utf.txt
|
|
|
|
cat p3.txt | iconv -f koi8-r -t utf8 > p3_utf.txt
|
|
```
|
|
|
|
5. Просмотрите содержимое корневой директории файловой системы HDFS. Поясните результат.
|
|
|
|
6. Создайте в HDFS директорию `/stud` в корневой директории. **В дальнейшем все требуемые файлы создавайте в этой директории**
|
|
|
|
7. Создайте файл `hello_hdfs.txt` с двумя строками. В первой строке - Фамилия и Имя, во второй строке - текст _Hello HDFS!_
|
|
|
|
8. Выведите содержимое папки `/stud`, соданной в HDFS, поясните результат.
|
|
|
|
9. Скопируйте файл `hello_hdfs.txt` в локальную файловую систему в папку `/stud`, убедитесь что копирование выполнено.
|
|
|
|
10. Скопируйте из локальной файловой системы в HDFS 'большой текстовый файл', созданный в п.3.
|
|
|
|
11. Выведите содержимое папки `/stud`, соданной в HDFS, поясните результат.
|
|
|
|
|
|
### Реализация и запуск MapReduce задачи
|
|
|
|
В этом пункте задания нужно выполнить подсчет количества повторений каждого слова в файле, созданном в п.3.
|
|
|
|
Для этого нужно реализовать на языке Python два модуля: `mapper` и `reducer`, проверить (отладить) их работу
|
|
в локальной файловой системе на небольшом файле, а затем перенести модули в HDFS и выполнить обработку большого текста.
|
|
|
|
1. Реализуйте в локальной папке `/stud` два модуля на языке Python: `mapper.py` и `reducer.py` (см. лекции)
|
|
|
|
2. Проверьте работу `mapper.py`, подав на вход файл 'hello_hadoop.txt'
|
|
|
|
3. Проверьте работу связки mapper-reducer на файле 'hello_hadoop.txt'
|
|
|
|
Для связки в терминале нескольких команд в одну удобно использовать [_pipeline_](https://www.gnu.org/software/bash/manual/html_node/Pipelines.html) - последовательность команд, разделенных символом `|`.
|
|
При этом вывод первой команды будет являться входными данными для следующией и так далее по цепочке.
|
|
Например, чтобы подать на вход `mapper.py` данные из файла 'hello_hadoop.txt', а результат отсортировать по ключу, нужно выполнить цепочку:
|
|
|
|
прочитать файл -> результат чтения передать в `mapper.py` -> результат выполнения отсортировать:
|
|
|
|
```
|
|
cat hello_hadoop.txt | mapper.py | sort
|
|
```
|
|
|
|
4. Выполните подсчет слов в большом текстовом файле, находящемся в HDFS
|
|
|
|
Для запуска MapReduce задачи, написанной на языке, отличном от Java, существует специальная утилита [Hadoop Streaming](https://hadoop.apache.org/docs/stable1/streaming.html).
|
|
Для запуска необходимо выполнить jar-файл _hadoop-streaming.jar_, подав в качестве параметров информацию о входном файле, расположенном в HDFS, о папке в HDFS, куда должен быть записан результат,
|
|
о расположении кода mapper'а и reducer'а.
|
|
|
|
|
|
```
|
|
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar \
|
|
-input <hdfs/path/to/input_file> \
|
|
-output <hdfs/output/dir> \
|
|
-mapper "python </path/to/mapper.py>" \
|
|
-reducer "python </path/to/reducer.py>"
|
|
```
|
|
Путь к файлу hadoop-streaming.jar может меняться в зависимости от операционной системы и настройках при установке.
|
|
|
|
В опциях `-mapper`, `-reducer` слово python указывает ОС, что необходимо выполнить программу на языке Python, расположенную по заданному локальному пути.
|
|
|
|
В **случае ошибки выполнения** и последующего перезапуска команды может возникнуть сообщение об ошибке, что папке, указанная в `-output` уже существует. В этом случае ее нужно удалить.
|
|
|
|
5. После успешного выполнения расчетов сохраните в отчет и проанализируйте выведенную статистику по задаче, укажите какие файлы создались в выходной директории и первые 50 строк каждого.
|
|
|
|
### Вопросы
|
|
|
|
1. Что такое Hadoop?
|
|
2. Что такое HDFS?
|
|
3. Что такое MapReduce?
|
|
4. Какие этапы существуют в модели MapReduce?
|
|
5. Какими командами можно скопировать файл из локальной файловой системы в HDFS и обратно?
|
|
6. Для чего нужна и как работает утилита _hadoop-streaming_?
|
|
|
|
|
|
|
|
|