apache-spark
Migrerar från Spark 1.6 till Spark 2.0
Sök…
Introduktion
Spark 2.0 har släppts och innehåller många förbättringar och nya funktioner. Om du använder Spark 1.6 och nu vill uppgradera din applikation för att använda Spark 2.0 måste du ta hänsyn till vissa ändringar i API: n. Nedan följer några av ändringarna i koden som måste göras.
Uppdatera filen build.sbt
Uppdatera build.sbt med:
scalaVersion := "2.11.8" // Make sure to have installed Scala 11
sparkVersion := "2.0.0" // Make sure to have installed Spark 2.0
Observera att när kompilering med sbt package kommer .jar nu att skapas i target/scala-2.11/ , och .jar namnet kommer också att ändras, så att spark-submit kommandot också måste uppdateras.
Uppdatera ML-vektorbibliotek
ML Transformers genererar nu org.apache.spark.ml.linalg.VectorUDT istället för org.apache.spark.mllib.linalg.VectorUDT .
De mappas också lokalt till underklasser av org.apache.spark.ml.linalg.Vector . Dessa är inte kompatibla med gamla MLLib API som går mot depreciering i Spark 2.0.0.
//import org.apache.spark.mllib.linalg.{Vector, Vectors} // Depreciated in Spark 2.0
import org.apache.spark.ml.linalg.Vector // Use instead