apache-spark
Migration de Spark 1.6 vers Spark 2.0
Recherche…
Introduction
Spark 2.0 a été publié et contient de nombreuses améliorations et nouvelles fonctionnalités. Si vous utilisez Spark 1.6 et que vous souhaitez maintenant mettre à niveau votre application pour utiliser Spark 2.0, vous devez prendre en compte certaines modifications de l'API. Vous trouverez ci-dessous certaines des modifications à apporter au code.
Mettre à jour le fichier build.sbt
Mettre à jour build.sbt avec:
scalaVersion := "2.11.8" // Make sure to have installed Scala 11
sparkVersion := "2.0.0" // Make sure to have installed Spark 2.0
Notez que lors de la compilation avec le sbt package , le .jar sera maintenant créé dans target/scala-2.11/ , et le nom du .jar sera également modifié. La commande spark-submit doit également être mise à jour.
Mettre à jour les bibliothèques vectorielles ML
ML Transformers génère désormais org.apache.spark.ml.linalg.VectorUDT au lieu de org.apache.spark.mllib.linalg.VectorUDT .
Ils sont également associés localement aux sous-classes de org.apache.spark.ml.linalg.Vector . Celles-ci ne sont pas compatibles avec l'ancienne API MLLib qui évolue vers la dépréciation de Spark 2.0.0.
//import org.apache.spark.mllib.linalg.{Vector, Vectors} // Depreciated in Spark 2.0
import org.apache.spark.ml.linalg.Vector // Use instead