apache-spark
Pliki tekstowe i operacje w Scali

Wprowadzenie

Przykładowe użycie

Czytaj plik tekstowy ze ścieżki:

val sc: org.apache.spark.SparkContext = ???
sc.textFile(path="/path/to/input/file") 

Czytaj pliki przy użyciu symboli wieloznacznych:

sc.textFile(path="/path/to/*/*") 

Czytaj pliki określające minimalną liczbę partycji:

sc.textFile(path="/path/to/input/file", minPartitions=3)

Połącz dwa pliki odczytane za pomocą textFile ()

Dołącza do Spark:

• Czytaj tekst Plik 1

  val txt1=sc.textFile(path="/path/to/input/file1") 
  

  Na przykład:

    A B
    1 2
    3 4
  

• Czytaj plik tekstowy 2

  val txt2=sc.textFile(path="/path/to/input/file2") 
  

  Na przykład:

    A C
    1 5
    3 6
  

• Dołącz i wydrukuj wynik.

  txt1.join(txt2).foreach(println)
  

  Na przykład:

    A B C
    1 2 5
    3 4 6
  

Połączenie powyżej opiera się na pierwszej kolumnie.