apache-spark
Migration von Spark 1.6 zu Spark 2.0
Suche…
Einführung
Spark 2.0 wurde veröffentlicht und enthält viele Verbesserungen und neue Funktionen. Wenn Sie Spark 1.6 verwenden und jetzt Ihre Anwendung für die Verwendung von Spark 2.0 aktualisieren möchten, müssen Sie einige Änderungen in der API berücksichtigen. Nachfolgend sind einige Änderungen am Code aufgeführt, die vorgenommen werden müssen.
Aktualisieren Sie die Datei build.sbt
Aktualisieren Sie build.sbt mit:
scalaVersion := "2.11.8" // Make sure to have installed Scala 11
sparkVersion := "2.0.0" // Make sure to have installed Spark 2.0
Beachten Sie, dass beim Kompilieren mit dem sbt package die .jar sbt package jetzt in target/scala-2.11/ wird und auch der .jar Name geändert wird. .jar muss auch der Befehl spark-submit aktualisiert werden.
Aktualisieren Sie ML Vector-Bibliotheken
ML Transformers generiert jetzt org.apache.spark.ml.linalg.VectorUDT anstelle von org.apache.spark.mllib.linalg.VectorUDT .
Sie werden auch lokal den Unterklassen von org.apache.spark.ml.linalg.Vector . Diese sind nicht mit der alten MLLib-API kompatibel, die sich in Spark 2.0.0 in Richtung einer Veraltetung bewegt.
//import org.apache.spark.mllib.linalg.{Vector, Vectors} // Depreciated in Spark 2.0
import org.apache.spark.ml.linalg.Vector // Use instead
