hadoop
Débogage du code Java Hadoop MR dans un environnement de développement eclipse local.
Recherche…
Introduction
La chose fondamentale à retenir ici est que le débogage d'un travail Hadoop MR sera similaire à toute application à déboguer à distance dans Eclipse.
Un outil de débogage ou de débogage est un programme informatique utilisé pour tester et déboguer d'autres programmes (le programme «cible»). Il est particulièrement utile pour un environnement Hadoop dans lequel il y a peu de place à l'erreur et une petite erreur peut entraîner une perte considérable.
Remarques
C'est tout ce que vous devez faire.
Étapes de configuration
Comme vous le savez, Hadoop peut être exécuté dans l'environnement local selon 3 modes différents:
- Mode local
- Mode pseudo-distribué
- Mode entièrement distribué (cluster)
En général, vous exécuterez votre configuration de hadoop local en mode pseudo-distribué pour exploiter HDFS et Map Reduce (MR). Cependant, vous ne pouvez pas déboguer les programmes MR dans ce mode, car chaque tâche Map / Reduce s'exécute dans un processus JVM distinct. Vous devez donc revenir au mode Local où vous pouvez exécuter vos programmes MR dans un processus JVM unique.
Voici les étapes simples et rapides pour le déboguer dans votre environnement local:
Exécutez hadoop en mode local pour le débogage afin que les tâches du mappeur et du réducteur s'exécutent dans une seule machine virtuelle Java au lieu de machines virtuelles distinctes. Les étapes ci-dessous vous aident à le faire.
Configurez HADOOP_OPTS pour activer le débogage. Ainsi, lorsque vous exécuterez votre travail Hadoop, il attendra que le débogueur se connecte. Vous trouverez ci-dessous la commande pour déboguer le même sur le port 8080.
(export HADOOP_OPTS = ”- agentlib: jdwp = transport = dt_socket, serveur = y, suspendre = y, adresse = 8008“)
Configurez la valeur fs.default.name dans le fichier core-site.xml pour le fichier: /// à partir de hdfs: //. Vous n'utiliserez pas hdfs en mode local.
Configurez la valeur de mapred.job.tracker dans mapred-site.xml sur local. Cela indiquera à Hadoop d'exécuter les tâches MR dans une seule JVM.
Créez une configuration de débogage pour Eclipse et définissez le port sur 8008. Pour cela, accédez aux configurations du débogueur et créez un nouveau type de configuration d'application Java distante et définissez le port comme 8080 dans les paramètres.
Exécutez votre travail de hadoop (il attendra que le débogueur se connecte), puis lancez Eclipse en mode débogage avec la configuration ci-dessus. Assurez-vous de mettre un point de rupture en premier.