apache-spark => Spark 1.6からSpark 2.0への移行

前書き

Spark 2.0がリリースされ、多くの機能拡張と新機能が追加されました。 Spark 1.6を使用していて、Spark 2.0を使用するようにアプリケーションをアップグレードする場合は、APIのいくつかの変更を考慮する必要があります。以下に、コードの変更が必要です。

build.sbtを次のように更新します。

scalaVersion := "2.11.8" // Make sure to have installed Scala 11
sparkVersion := "2.0.0"  // Make sure to have installed Spark 2.0

sbt packageでコンパイルすると、 target/scala-2.11/に.jarが作成され、 .jar名前も変更されるので、 spark-submitコマンドも同様に更新する必要があることに注意してください。

ML Transformersはorg.apache.spark.ml.linalg.VectorUDT代わりにorg.apache.spark.mllib.linalg.VectorUDT生成するようになりました。

これらは、 org.apache.spark.ml.linalg.Vectorサブクラスにもローカルにマップされます。これらは、Spark 2.0.0で非推奨に移行している古いMLLib APIと互換性がありません。

//import org.apache.spark.mllib.linalg.{Vector, Vectors} // Depreciated in Spark 2.0 
import org.apache.spark.ml.linalg.Vector // Use instead

Modified text is an extract of the original Stack Overflow Documentation

ライセンスを受けた CC BY-SA 3.0

所属していない Stack Overflow