apache-spark
File di testo e operazioni in Scala

introduzione

Esempio di utilizzo

Leggi il file di testo dal percorso:

val sc: org.apache.spark.SparkContext = ???
sc.textFile(path="/path/to/input/file") 

Leggi i file usando i caratteri jolly:

sc.textFile(path="/path/to/*/*") 

Leggi i file specificando il numero minimo di partizioni:

sc.textFile(path="/path/to/input/file", minPartitions=3)

Unisci due file letti con textFile ()

Join in Spark:

• Leggi il file di testo 1

  val txt1=sc.textFile(path="/path/to/input/file1") 
  

  Per esempio:

    A B
    1 2
    3 4
  

• Leggi il testo File 2

  val txt2=sc.textFile(path="/path/to/input/file2") 
  

  Per esempio:

    A C
    1 5
    3 6
  

• Iscriviti e stampa il risultato.

  txt1.join(txt2).foreach(println)
  

  Per esempio:

    A B C
    1 2 5
    3 4 6
  

Il join sopra è basato sulla prima colonna.