apache-spark
Fichiers texte et opérations à Scala

Introduction

Exemple d'utilisation

Lire le fichier texte du chemin:

val sc: org.apache.spark.SparkContext = ???
sc.textFile(path="/path/to/input/file") 

Lire des fichiers en utilisant des caractères génériques:

sc.textFile(path="/path/to/*/*") 

Lire des fichiers en spécifiant un nombre minimum de partitions:

sc.textFile(path="/path/to/input/file", minPartitions=3)

Joindre deux fichiers lus avec textFile ()

Se joint à Spark:

• Lire le texteFichier 1

  val txt1=sc.textFile(path="/path/to/input/file1") 
  

  Par exemple:

    A B
    1 2
    3 4
  

• Lire le texteFichier 2

  val txt2=sc.textFile(path="/path/to/input/file2") 
  

  Par exemple:

    A C
    1 5
    3 6
  

• Joindre et imprimer le résultat.

  txt1.join(txt2).foreach(println)
  

  Par exemple:

    A B C
    1 2 5
    3 4 6
  

La jointure ci-dessus est basée sur la première colonne.