apache-spark
पाठ फ़ाइलें और संचालन स्काला में

परिचय

उदाहरण उपयोग

पथ से पाठ फ़ाइल पढ़ें:

val sc: org.apache.spark.SparkContext = ???
sc.textFile(path="/path/to/input/file") 

वाइल्डकार्ड्स का उपयोग करके फ़ाइलें पढ़ें:

sc.textFile(path="/path/to/*/*") 

विभाजन की न्यूनतम संख्या निर्दिष्ट करने वाली फाइलें पढ़ें:

sc.textFile(path="/path/to/input/file", minPartitions=3)

TextFile () के साथ पढ़ी गई दो फ़ाइलों में शामिल हों

स्पार्क में शामिल:

• पाठ 1 पढ़ें

  val txt1=sc.textFile(path="/path/to/input/file1") 
  

  उदाहरण के लिए:

    A B
    1 2
    3 4
  

• पाठ 2 पढ़ें

  val txt2=sc.textFile(path="/path/to/input/file2") 
  

  उदाहरण के लिए:

    A C
    1 5
    3 6
  

• परिणाम में शामिल हों और प्रिंट करें।

  txt1.join(txt2).foreach(println)
  

  उदाहरण के लिए:

    A B C
    1 2 5
    3 4 6
  

ऊपर दिया गया जोड़ पहले कॉलम पर आधारित है।