hadoop
하둡 데이터로드

hadoop hdfs에 데이터로드

1 단계 : HDFS에서 디렉토리 생성, 파일 및 목록 내용 업로드

구문을 작성하여 배우자. 다음 예제 명령을 복사하여 터미널에 붙여 넣을 수 있습니다.

hadoop fs -mkdir :

경로 URI를 인수로 취하여 하나 이상의 디렉토리를 만듭니다.

용법:

    # hadoop fs -mkdir <paths>

예:

    hadoop fs -mkdir /user/hadoop
    hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 /user/hadoop/dir3

hadoop fs -put :

단일 src 파일 또는 여러 src 파일을 로컬 파일 시스템에서 Hadoop 분산 파일 시스템으로 복사합니다.

용법:

    # hadoop fs -put <local-src> ... <HDFS_dest_path>

예:

    hadoop fs -put popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -copyFromLocal :

단일 src 파일 또는 여러 src 파일을 로컬 파일 시스템에서 Hadoop 분산 파일 시스템으로 복사합니다.

용법:

    # hadoop fs -copyFromLocal <local-src> ... <HDFS_dest_path>

예:

    hadoop fs -copyFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -moveFromLocal :

put 명령과 비슷하지만 소스 localsrc가 복사 된 후 삭제된다는 점만 다릅니다.

용법:

    # hadoop fs -moveFromLocal <local-src> ... <HDFS_dest_path>

예:

    hadoop fs -moveFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

SQOOP 데이터 전송 도구 :

Sqoop (RDBMS에서 HDFS로 또는 그 반대로 데이터를 전송하는 명령 행 도구)을 사용하여 관계형 데이터베이스에서 직접 HDFS로 데이터를로드 할 수도 있습니다.

용법:

$ sqoop import --connect CONNECTION_STRING --username USER_NAME --table TABLE_NAME

예:

$ sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST