hadoop - Hadoopで画像をAvro形式に変換できますか？

Question

Hadoopで画像をAvro形式に変換することは可能ですか？

Answer 1

Avroは、プラットフォームに依存しない方法（「データシリアル化システム」）であるデータスキーマを記述するために使用されます。

画像自体はさまざまな形式（PNG、JPEG、BMP、GIFなど）でエンコードでき、それらはすべてバイトのシーケンスとして表すことができます。さらに、画像に関するメタデータを定義することもできます（とにかくバイトでエンコードされている可能性がありますが、ユースケースによっては画像を抽出すると便利な場合があります。

プリミティブスキーマは次のようになります（ドキュメントから採用）。

{"namespace": "example.avro",
 "type": "record",
 "name": "Image",
 "fields": [
     {"name": "filename", "type": "string"},
     {"name": "type",  "type": "string"},
     {"name": "data", "type": "bytes"},
     {"name": "width", "type": "int"},
     {"name": "height", "type": "int"}
 ]
}