apache-spark
Archivos de texto y operaciones en Scala

Introducción

Ejemplo de uso

Leer el archivo de texto de la ruta:

val sc: org.apache.spark.SparkContext = ???
sc.textFile(path="/path/to/input/file") 

Leer archivos usando comodines:

sc.textFile(path="/path/to/*/*") 

Leer archivos especificando el número mínimo de particiones:

sc.textFile(path="/path/to/input/file", minPartitions=3)

Unir dos archivos leídos con textFile ()

Se une en Spark:

• Leer textoArchivo 1

  val txt1=sc.textFile(path="/path/to/input/file1") 
  

  P.ej:

    A B
    1 2
    3 4
  

• Leer textoArchivo 2

  val txt2=sc.textFile(path="/path/to/input/file2") 
  

  P.ej:

    A C
    1 5
    3 6
  

• Únete e imprime el resultado.

  txt1.join(txt2).foreach(println)
  

  P.ej:

    A B C
    1 2 5
    3 4 6
  

La unión anterior se basa en la primera columna.