apache-spark
Migración de Spark 1.6 a Spark 2.0
Buscar..
Introducción
Spark 2.0 ha sido lanzado y contiene muchas mejoras y nuevas características. Si está utilizando Spark 1.6 y ahora desea actualizar su aplicación para usar Spark 2.0, debe tener en cuenta algunos cambios en la API. A continuación se muestran algunos de los cambios en el código que deben realizarse.
Actualizar el archivo build.sbt
Actualizar build.sbt con:
scalaVersion := "2.11.8" // Make sure to have installed Scala 11
sparkVersion := "2.0.0" // Make sure to have installed Spark 2.0
Tenga en cuenta que al compilar con el sbt package , el .jar ahora se creará en target/scala-2.11/ , y el nombre de .jar también se cambiará, por lo que el comando spark-submit debe actualizarse.
Actualizar ML bibliotecas de vectores
ML Transformers ahora genera org.apache.spark.ml.linalg.VectorUDT lugar de org.apache.spark.mllib.linalg.VectorUDT .
También se asignan localmente a las subclases de org.apache.spark.ml.linalg.Vector . Estos no son compatibles con la antigua API de MLLib que se está moviendo hacia la desaprobación en Spark 2.0.0.
//import org.apache.spark.mllib.linalg.{Vector, Vectors} // Depreciated in Spark 2.0
import org.apache.spark.ml.linalg.Vector // Use instead