apache-spark
SparkでのJSONの処理

JSONをGsonでカスタムクラスにマッピングする

Gson 、JSONデータセットを読み込んでカスタムクラスMyClassマッピングできます。

Gsonは直列化Gsonはないので、各実行Gsonは独自のGsonオブジェクトが必要です。また、エグゼキュータ間で渡すためには、 MyClass直列化する必要があります。

jsonファイルとして提供されるファイルは、典型的なJSONファイルではありません。各行には、独立した有効なJSONオブジェクトが含まれている必要があります。その結果、通常複数行のJSONファイルが失敗することがよくあります。

val sc: org.apache.spark.SparkContext // An existing SparkContext

// A JSON dataset is pointed to by path.
// The path can be either a single text file or a directory storing text files.
val path = "path/to/my_class.json"
val linesRdd: RDD[String] = sc.textFile(path)

// Mapping json to MyClass
val myClassRdd: RDD[MyClass] = linesRdd.map{ l => 
    val gson = new com.google.gson.Gson()
    gson.fromJson(l, classOf[MyClass])
}

Gsonオブジェクトの作成にコストがかかりすぎると、 mapPartitionsメソッドを使用して最適化することができます。それに伴い、1行ではなく1パーティションあたり1つのGsonが存在します。

val myClassRdd: RDD[MyClass] = linesRdd.mapPartitions{p => 
    val gson = new com.google.gson.Gson()
    p.map(l => gson.fromJson(l, classOf[MyClass]))
}