apache-spark
Tekstbestanden en bewerkingen in Scala

Invoering

Voorbeeld gebruik

Tekstbestand lezen van pad:

val sc: org.apache.spark.SparkContext = ???
sc.textFile(path="/path/to/input/file") 

Bestanden lezen met jokertekens:

sc.textFile(path="/path/to/*/*") 

Bestanden lezen met een minimum aantal partities:

sc.textFile(path="/path/to/input/file", minPartitions=3)

Voeg twee bestanden samen die zijn gelezen met textFile ()

Sluit zich aan bij Spark:

• Tekst lezen Bestand 1

  val txt1=sc.textFile(path="/path/to/input/file1") 
  

  bv:

    A B
    1 2
    3 4
  

• Tekst lezen Bestand 2

  val txt2=sc.textFile(path="/path/to/input/file2") 
  

  bv:

    A C
    1 5
    3 6
  

• Doe mee en druk het resultaat af.

  txt1.join(txt2).foreach(println)
  

  bv:

    A B C
    1 2 5
    3 4 6
  

De bovenstaande join is gebaseerd op de eerste kolom.