apache-spark
Migreren van Spark 1.6 naar Spark 2.0
Zoeken…
Invoering
Spark 2.0 is uitgebracht en bevat veel verbeteringen en nieuwe functies. Als u Spark 1.6 gebruikt en nu uw toepassing wilt upgraden om Spark 2.0 te gebruiken, moet u rekening houden met enkele wijzigingen in de API. Hieronder vindt u enkele wijzigingen in de code die moeten worden aangebracht.
Update build.sbt bestand
Update build.sbt met:
scalaVersion := "2.11.8" // Make sure to have installed Scala 11
sparkVersion := "2.0.0" // Make sure to have installed Spark 2.0
Merk op dat bij het compileren met het sbt package , de .jar nu wordt aangemaakt in target/scala-2.11/ , en de .jar naam ook zal worden gewijzigd, dus het spark-submit commando moet ook worden bijgewerkt.
Update ML Vector-bibliotheken
ML Transformers genereert nu org.apache.spark.ml.linalg.VectorUDT plaats van org.apache.spark.mllib.linalg.VectorUDT .
Ze worden ook lokaal toegewezen aan subklassen van org.apache.spark.ml.linalg.Vector . Deze zijn niet compatibel met de oude MLLib API die in afwachting is van afschrijving in Spark 2.0.0.
//import org.apache.spark.mllib.linalg.{Vector, Vectors} // Depreciated in Spark 2.0
import org.apache.spark.ml.linalg.Vector // Use instead