apache-spark
Textdateien und Operationen in Scala

Einführung

Verwendungsbeispiel

Textdatei aus Pfad lesen:

val sc: org.apache.spark.SparkContext = ???
sc.textFile(path="/path/to/input/file") 

Dateien mit Platzhaltern lesen:

sc.textFile(path="/path/to/*/*") 

Dateien lesen, die die Mindestanzahl von Partitionen angeben

sc.textFile(path="/path/to/input/file", minPartitions=3)

Verbinden Sie zwei Dateien, die mit textFile () gelesen werden.

Mitglied in Spark:

• Lesen Sie Textdatei 1

  val txt1=sc.textFile(path="/path/to/input/file1") 
  

  Z.B:

    A B
    1 2
    3 4
  

• Lesen Sie Textdatei 2

  val txt2=sc.textFile(path="/path/to/input/file2") 
  

  Z.B:

    A C
    1 5
    3 6
  

• Verbinden Sie und drucken Sie das Ergebnis.

  txt1.join(txt2).foreach(println)
  

  Z.B:

    A B C
    1 2 5
    3 4 6
  

Der Join oben basiert auf der ersten Spalte.