hadoop
Отладка Java-кода Hadoop MR в локальной среде eclipse dev.
Поиск…
Вступление
Основная вещь, которую следует помнить здесь, заключается в том, что отладка задания Hadoop MR будет похожа на любое отдаленно отлаженное приложение в Eclipse.
Отладчик или инструмент отладки - это компьютерная программа, которая используется для тестирования и отладки других программ («целевой» программы). Он очень полезен специально для среды Hadoop, где мало места для ошибки, и одна небольшая ошибка может привести к огромным потерям.
замечания
Это все, что вам нужно сделать.
Шаги для настройки
Как вы знаете, Hadoop можно запустить в локальной среде в трех разных режимах:
- Локальный режим
- Псевдораспределенный режим
- Полностью распределенный режим (кластер)
Как правило, вы будете запускать свою локальную настройку в формате Pseudo Distributed Mode для использования HDFS и Map Reduce (MR). Однако вы не можете отлаживать программы MR в этом режиме, так как каждая задача Map / Reduce будет выполняться в отдельном JVM-процессе, поэтому вам нужно переключиться обратно в локальный режим, где вы можете запускать программы MR в одном процессе JVM.
Ниже перечислены быстрые и простые шаги по его отладке в локальной среде:
Запустите hadoop в локальном режиме для отладки, поэтому задачи сопоставления и редуктора выполняются в одной JVM вместо отдельных JVM. Ниже шаги помогут вам это сделать.
Настройте HADOOP_OPTS, чтобы включить отладку, поэтому, когда вы запускаете задание Hadoop, он будет ожидать, когда отладчик будет подключаться. Ниже приведена команда для отладки на порту 8080.
(экспорт HADOOP_OPTS = "- agentlib: jdwp = transport = dt_socket, server = y, suspend = y, address = 8008")
Настройте значение fs.default.name в файле core-site.xml в файле: /// из hdfs: //. Вы не будете использовать hdfs в локальном режиме.
Настроить mapred.job.tracker значение в mapred-site.xml для локального. Это даст указание Hadoop запускать задачи MR в одной JVM.
Создайте конфигурацию отладки для Eclipse и установите для порта 8008 - типичный материал. Для этого перейдите к настройкам отладчика и создайте новый тип конфигурации удаленного Java-приложения и установите в качестве параметра 8080 параметров.
Запустите ваше рабочее задание (он будет ожидать отладчика для подключения), а затем запустите Eclipse в режиме отладки с указанной выше конфигурацией. Не забудьте сначала поставить точку разрыва.