hadoop
Depuración del código Java de Hadoop MR en un entorno de desarrollo de eclipse local.
Buscar..
Introducción
Lo básico que se debe recordar aquí es que la depuración de un trabajo de Hadoop MR será similar a cualquier aplicación de depuración remota en Eclipse.
Un depurador o herramienta de depuración es un programa de computadora que se utiliza para probar y depurar otros programas (el programa "objetivo"). Es muy útil especialmente para un entorno Hadoop en el que hay poco espacio para el error y un pequeño error puede causar una gran pérdida.
Observaciones
Eso es todo lo que necesitas hacer.
Pasos para la configuracion
Como sabría, Hadoop se puede ejecutar en el entorno local en 3 modos diferentes:
- Modo local
- Modo Pseudo Distribuido
- Modo totalmente distribuido (Cluster)
Por lo general, ejecutará la configuración local de hadoop en modo pseudo-distribuido para aprovechar HDFS y Map Reduce (MR). Sin embargo, no puede depurar programas de MR en este modo, ya que cada tarea de Map / Reduce se ejecutará en un proceso JVM separado, por lo que debe volver al modo Local, donde puede ejecutar sus programas de MR en un solo proceso JVM.
Estos son los pasos rápidos y simples para depurar esto en su entorno local:
Ejecute hadoop en modo local para la depuración, de modo que las tareas del asignador y del reductor se ejecuten en una única JVM en lugar de JVM separadas. Los pasos a continuación te ayudan a hacerlo.
Configure HADOOP_OPTS para habilitar la depuración de modo que cuando ejecute su trabajo Hadoop, estará esperando a que el depurador se conecte. A continuación se muestra el comando para depurar lo mismo en el puerto 8080.
(exportar HADOOP_OPTS = ”- agentlib: jdwp = transporte = dt_socket, servidor = y, suspender = y, dirección = 8008“)
Configure el valor fs.default.name en core-site.xml en el archivo: /// de hdfs: //. No utilizarás hdfs en modo local.
Configure el valor mapred.job.tracker en mapred-site.xml en local. Esto le indicará a Hadoop que ejecute tareas de MR en una única JVM.
Cree la configuración de depuración para Eclipse y establezca el puerto en 8008 - cosas típicas. Para eso, vaya a las configuraciones del depurador y cree un nuevo tipo de configuración de la Aplicación Java Remota y establezca el puerto como 8080 en la configuración.
Ejecute su trabajo hadoop (estará esperando a que se conecte el depurador) y luego inicie Eclipse en modo de depuración con la configuración anterior. Asegúrese de poner primero un punto de quiebre.