apache-spark
स्पार्क 1.6 से स्पार्क 2.0 की ओर पलायन

परिचय

Build.sbt फ़ाइल को अपडेट करें

बिल्ड के साथ अपडेट करें:

scalaVersion := "2.11.8" // Make sure to have installed Scala 11
sparkVersion := "2.0.0"  // Make sure to have installed Spark 2.0

ध्यान दें कि sbt package संकलन करते sbt package , .jar अब target/scala-2.11/ में बनाया जाएगा, और .jar नाम भी बदल दिया जाएगा, इसलिए spark-submit कमांड को भी अपडेट करने की आवश्यकता है।

ML वेक्टर लाइब्रेरी अपडेट करें

एमएल Transformers अब उत्पन्न org.apache.spark.ml.linalg.VectorUDT के बजाय org.apache.spark.mllib.linalg.VectorUDT ।

उन्हें स्थानीय रूप से org.apache.spark.ml.linalg.Vector उपवर्गों में मैप किया जाता है। ये पुराने एमएललिब एपीआई के साथ संगत नहीं हैं जो स्पार्क 2.0.0 में अपग्रेडेशन की ओर बढ़ रहे हैं।

//import org.apache.spark.mllib.linalg.{Vector, Vectors} // Depreciated in Spark 2.0 
import org.apache.spark.ml.linalg.Vector // Use instead