サーチ…


前書き

Spark 2.0がリリースされ、多くの機能拡張と新機能が追加されました。 Spark 1.6を使用していて、Spark 2.0を使用するようにアプリケーションをアップグレードする場合は、APIのいくつかの変更を考慮する必要があります。以下に、コードの変更が必要です。

build.sbtファイルを更新する

build.sbtを次のように更新します。

scalaVersion := "2.11.8" // Make sure to have installed Scala 11
sparkVersion := "2.0.0"  // Make sure to have installed Spark 2.0

sbt packageでコンパイルすると、 target/scala-2.11/.jarが作成され、 .jar名前も変更されるので、 spark-submitコマンドも同様に更新する必要があることに注意してください。

MLベクトルライブラリを更新する

ML Transformersorg.apache.spark.ml.linalg.VectorUDT代わりにorg.apache.spark.mllib.linalg.VectorUDT生成するようになりました。

これらは、 org.apache.spark.ml.linalg.Vectorサブクラスにもローカルにマップされます。 これらは、Spark 2.0.0で非推奨に移行している古いMLLib APIと互換性がありません。

//import org.apache.spark.mllib.linalg.{Vector, Vectors} // Depreciated in Spark 2.0 
import org.apache.spark.ml.linalg.Vector // Use instead


Modified text is an extract of the original Stack Overflow Documentation
ライセンスを受けた CC BY-SA 3.0
所属していない Stack Overflow