apache-spark
스칼라의 텍스트 파일과 작업

소개

사용 예

경로에서 텍스트 파일 읽기 :

val sc: org.apache.spark.SparkContext = ???
sc.textFile(path="/path/to/input/file") 

와일드 카드를 사용하여 파일 읽기 :

sc.textFile(path="/path/to/*/*") 

최소 파티션 수를 지정하는 파일 읽기 :

sc.textFile(path="/path/to/input/file", minPartitions=3)

textFile ()로 읽은 두 파일을 결합하십시오.

Spark의 조인 :

• 텍스트 파일 1 읽기

  val txt1=sc.textFile(path="/path/to/input/file1") 
  

  예 :

    A B
    1 2
    3 4
  

• 텍스트 파일 2 읽기

  val txt2=sc.textFile(path="/path/to/input/file2") 
  

  예 :

    A C
    1 5
    3 6
  

• 결과에 가입하고 인쇄하십시오.

  txt1.join(txt2).foreach(println)
  

  예 :

    A B C
    1 2 5
    3 4 6
  

위의 조인은 첫 번째 열을 기반으로합니다.