apache-spark
Scalaのテキストファイルと操作

前書き

使用例

パスからテキストファイルを読み込む：

val sc: org.apache.spark.SparkContext = ???
sc.textFile(path="/path/to/input/file") 

ワイルドカードを使ってファイルを読む：

sc.textFile(path="/path/to/*/*") 

最小限のパーティション数を指定してファイルを読み込みます。

sc.textFile(path="/path/to/input/file", minPartitions=3)

textFile（）で読み込まれた2つのファイルを結合する

スパークの結合：

• テキストファイル1を読む

  val txt1=sc.textFile(path="/path/to/input/file1") 
  

  例えば：

    A B
    1 2
    3 4
  

• テキストファイル2を読む

  val txt2=sc.textFile(path="/path/to/input/file2") 
  

  例えば：

    A C
    1 5
    3 6
  

• 結合して結果を印刷します。

  txt1.join(txt2).foreach(println)
  

  例えば：

    A B C
    1 2 5
    3 4 6
  

上記の結合は、最初の列に基づいています。