apache-spark
Spark 1.6에서 Spark 2.0으로 마이그레이션

소개

build.sbt 파일 업데이트

build.sbt를 다음과 같이 업데이트하십시오.

scalaVersion := "2.11.8" // Make sure to have installed Scala 11
sparkVersion := "2.0.0"  // Make sure to have installed Spark 2.0

sbt package 컴파일 할 때 target/scala-2.11/ 에 .jar 가 생성되고 .jar 이름도 변경되므로 spark-submit 명령도 업데이트해야합니다.

ML 벡터 라이브러리 업데이트

ML Transformers 이제 생성 org.apache.spark.ml.linalg.VectorUDT 대신 org.apache.spark.mllib.linalg.VectorUDT .

또한 org.apache.spark.ml.linalg.Vector 서브 클래스에 로컬로 매핑됩니다. 이것들은 Spark 2.0.0에서 비추천으로 움직이고있는 오래된 MLLib API와 호환되지 않습니다.

//import org.apache.spark.mllib.linalg.{Vector, Vectors} // Depreciated in Spark 2.0 
import org.apache.spark.ml.linalg.Vector // Use instead