apache-spark
pyspark에서 scala 작업 호출하기

소개

파이썬 RDD를받는 스칼라 함수 만들기

파이썬 RDD를받는 스칼라 함수를 만드는 것은 쉽습니다. 빌드 할 필요가있는 것은 JavaRDD [Any]

import org.apache.spark.api.java.JavaRDD

def doSomethingByPythonRDD(rdd :JavaRDD[Any]) = {
    //do something
    rdd.map { x => ??? }
}

파이썬 RDD를 직렬화하여 스칼라 코드로 보내기

이 개발 부분에서는 파이썬 RDD를 JVM에 직렬화해야합니다. 이 프로세스는 Spark의 주요 개발을 사용하여 jar 함수를 호출합니다.

from pyspark.serializers import PickleSerializer, AutoBatchedSerializer


rdd = sc.parallelize(range(10000))
reserialized_rdd = rdd._reserialize(AutoBatchedSerializer(PickleSerializer()))
rdd_java = rdd.ctx._jvm.SerDe.pythonToJava(rdd._jrdd, True)

_jvm = sc._jvm #This will call the py4j gateway to the JVM.
_jvm.myclass.apps.etc.doSomethingByPythonRDD(rdd_java)

spark-submit을 호출하는 방법

이 코드를 호출하려면 스칼라 코드의 항아리를 만들어야합니다. 다음과 같이 spark를 호출해야합니다.

spark-submit --master yarn-client --jars ./my-scala-code.jar --driver-class-path ./my-scala-code.jar main.py

이렇게하면 pySpark 작업에서 필요한 모든 종류의 스칼라 코드를 호출 할 수 있습니다.