apache-spark
클라이언트 모드 및 클러스터 모드
수색…
스파크 클라이언트와 클러스터 모드 설명
Spark의 클라이언트 모드와 클러스터 모드의 차이점을 살펴 보겠습니다.
클라이언트 : 클라이언트 모드에서 Spark를 실행하면 SparkContext 및 드라이버 프로그램이 클러스터 외부에서 실행됩니다. 예를 들어, 랩톱에서. 로컬 모드는 클러스터를 사용하지 않고 단일 시스템에서 모든 것을 실행하려는 경우에만 사용됩니다. 따라서 드라이버 응용 프로그램과 스파크 응용 프로그램은 모두 사용자와 동일한 컴퓨터에 있습니다. 드라이버는 전용 프로세스 내에서 전용 서버 (마스터 노드)에서 실행됩니다. 즉, 작업을 수행 할 수있는 모든 가용 자원이 있음을 의미합니다. 마스터 노드에는 자체 리소스가 있으므로 드라이버 프로그램에 작업자 리소스를 "소비"할 필요가 없습니다. 드라이버 프로세스가 종료되면 실행을 재설정하기 위해 외부 모니터링 시스템이 필요합니다.
클러스터 : 드라이버는 클러스터의 Worker 노드 중 하나에서 실행됩니다. 이는 Worker 내부의 전용 독립 실행 형 프로세스로 실행됩니다. 클러스터 모드에서 작업 할 때 응용 프로그램 실행과 관련된 모든 JAR을 모든 작업자가 공개적으로 사용할 수 있어야합니다. 즉, 작업자를 공유 장소 나 폴더에 수동으로 배치 할 수 있습니다. 각 응용 프로그램은 고유 한 실행 프 N 세스 프 N 세스를 가지며, 이는 전체 응용 프로그램의 지속 기간 동안 유지되고 여러 스레드에서 타스크를 실행합니다. 이는 스케줄링 측면 (각 드라이버가 자체 태스크를 스케줄링 함) 및 실행자 측 (서로 다른 어플리케이션의 태스크가 다른 JVM에서 실행 됨)에서 어플리케이션을 서로 격리시키는 이점이 있습니다
클러스터 관리자 유형
Apache Mesos - Hadoop MapReduce 및 서비스 응용 프로그램을 실행할 수있는 일반 클러스터 관리자입니다. Hadoop YARN - Hadoop의 리소스 관리자.
Kubernetes- 컨테이너 중심의 infrastructure.it는 아직 실험적입니다.