apache-spark
Textfiler och operationer i Scala

Introduktion

Exempel på användning

Läs textfil från sökvägen:

val sc: org.apache.spark.SparkContext = ???
sc.textFile(path="/path/to/input/file") 

Läs filer med jokertecken:

sc.textFile(path="/path/to/*/*") 

Läs filer som anger minimum antal partitioner:

sc.textFile(path="/path/to/input/file", minPartitions=3)

Gå med i två filer lästa med textFile ()

Går med i gnista:

• Läs textFil 1

  val txt1=sc.textFile(path="/path/to/input/file1") 
  

  T.ex:

    A B
    1 2
    3 4
  

• Läs textfil 2

  val txt2=sc.textFile(path="/path/to/input/file2") 
  

  T.ex:

    A C
    1 5
    3 6
  

• Gå med och skriv ut resultatet.

  txt1.join(txt2).foreach(println)
  

  T.ex:

    A B C
    1 2 5
    3 4 6
  

Samlingen ovan är baserad på den första kolumnen.