hadoop
Debugowanie kodu Java Hadoop MR w lokalnym środowisku programistycznym Eclipse.
Szukaj…
Wprowadzenie
Podstawową rzeczą do zapamiętania jest to, że debugowanie zadania Hadoop MR będzie podobne do każdej zdalnie debugowanej aplikacji w Eclipse.
Narzędzie do debugowania lub debugowania to program komputerowy służący do testowania i debugowania innych programów (program „docelowy”). Jest to bardzo przydatne szczególnie w środowisku Hadoop, w którym jest mało miejsca na błędy, a jeden mały błąd może spowodować ogromną stratę.
Uwagi
To wszystko, co musisz zrobić.
Kroki do konfiguracji
Jak wiesz, Hadoop może być uruchamiany w środowisku lokalnym w 3 różnych trybach:
- Tryb lokalny
- Tryb pseudo rozproszony
- Tryb w pełni rozproszony (klaster)
Zazwyczaj będziesz uruchamiał lokalną konfigurację hadoop w trybie pseudo rozproszonym, aby wykorzystać HDFS i Map Reduce (MR). Nie można jednak debugować programów MR w tym trybie, ponieważ każde zadanie Map / Reduce będzie działało w osobnym procesie JVM, dlatego należy przełączyć się z powrotem do trybu lokalnego, w którym można uruchomić programy MR w pojedynczym procesie JVM.
Oto szybkie i proste kroki do debugowania tego w lokalnym środowisku:
Uruchom hadoop w trybie lokalnym w celu debugowania, aby zadania mapowania i reduktora działały w pojedynczej maszynie JVM zamiast w oddzielnych maszynach JVM. Poniższe kroki pomogą ci to zrobić.
Skonfiguruj HADOOP_OPTS, aby umożliwić debugowanie, więc po uruchomieniu zadania Hadoop będzie czekało na połączenie się debugera. Poniżej znajduje się polecenie debugowania tego samego na porcie 8080.
(eksport HADOOP_OPTS = ”- agentlib: jdwp = transport = dt_socket, serwer = y, zawieszenie = y, adres = 8008”)
Skonfiguruj wartość fs.default.name w pliku core-site.xml do pliku: /// from hdfs: //. Nie będziesz używać hdfs w trybie lokalnym.
Skonfiguruj wartość mapred.job.tracker w mapred-site.xml na poziomie lokalnym. Poinstruuje to Hadoop, aby uruchamiał zadania MR w pojedynczej maszynie JVM.
Utwórz konfigurację debugowania dla Eclipse i ustaw port na 8008 - typowe rzeczy. W tym celu przejdź do konfiguracji debugera i utwórz nowy typ konfiguracji Zdalnej aplikacji Java i ustaw port jako 8080 w ustawieniach.
Uruchom zadanie hadoop (będzie czekało na połączenie debugera), a następnie uruchom Eclipse w trybie debugowania z powyższą konfiguracją. Upewnij się, że na początku ustawiłeś punkt przerwania.