apache-spark
Migrazione da Spark 1.6 a Spark 2.0
Ricerca…
introduzione
Spark 2.0 è stato rilasciato e contiene molti miglioramenti e nuove funzionalità. Se si utilizza Spark 1.6 e ora si desidera aggiornare la propria applicazione per utilizzare Spark 2.0, è necessario tenere conto di alcune modifiche nell'API. Di seguito sono elencate alcune delle modifiche al codice che è necessario apportare.
Aggiorna il file build.sbt
Aggiorna build.sbt con:
scalaVersion := "2.11.8" // Make sure to have installed Scala 11
sparkVersion := "2.0.0" // Make sure to have installed Spark 2.0
Si noti che durante la compilazione con il sbt package , il .jar verrà ora creato in target/scala-2.11/ , e anche il nome .jar verrà modificato, quindi anche il comando spark-submit deve essere aggiornato.
Aggiorna le librerie Vector ML
ML Transformers ora genera org.apache.spark.ml.linalg.VectorUDT anziché org.apache.spark.mllib.linalg.VectorUDT .
Inoltre sono mappati localmente a sottoclassi di org.apache.spark.ml.linalg.Vector . Questi non sono compatibili con la vecchia API MLLib che si sta spostando verso la deprecazione in Spark 2.0.0.
//import org.apache.spark.mllib.linalg.{Vector, Vectors} // Depreciated in Spark 2.0
import org.apache.spark.ml.linalg.Vector // Use instead