apache-spark
Modo cliente y modo clúster
Buscar..
Explicación del modo Spark Client y Cluster.
Intentemos ver las diferencias entre el modo cliente y el modo de clúster de Spark.
Cliente : cuando se ejecuta Spark en el modo cliente, el programa SparkContext and Driver se ejecuta de manera externa al clúster; por ejemplo, desde tu laptop. El modo local es solo para el caso en el que no desea utilizar un clúster y, en cambio, desea ejecutar todo en una sola máquina. Por lo tanto, Driver Application y Spark Application están en la misma máquina que el usuario. El controlador se ejecuta en un servidor dedicado (nodo maestro) dentro de un proceso dedicado. Esto significa que tiene todos los recursos disponibles a su disposición para ejecutar el trabajo. Debido a que el nodo maestro tiene recursos dedicados propios, no necesita "gastar" recursos de trabajo para el programa Driver. Si el proceso del controlador muere, necesita un sistema de monitoreo externo para restablecer su ejecución.
Clúster: el controlador se ejecuta en uno de los nodos Trabajadores del clúster. Se ejecuta como un proceso independiente y dedicado dentro del Trabajador. Cuando trabaje en modo Cluster, todos los JAR relacionados con la ejecución de su aplicación deben estar disponibles públicamente para todos los trabajadores. Esto significa que puede colocarlos manualmente en un lugar compartido o en una carpeta para cada uno de los trabajadores. Cada aplicación tiene sus propios procesos de ejecutor, que permanecen activos durante toda la aplicación y ejecutan tareas en varios subprocesos. Esto tiene la ventaja de aislar las aplicaciones entre sí, tanto en el lado de la programación (cada controlador programa sus propias tareas) como en el lado del ejecutor (las tareas de diferentes aplicaciones se ejecutan en diferentes JVM).
Tipos de administrador de clúster
Apache Mesos: un administrador de clúster general que también puede ejecutar Hadoop MapReduce y brindar servicio a las aplicaciones. Hadoop YARN - el administrador de recursos en Hadoop.
Kubernetes- container-centric Infraestructure.it es experimental todavía.