hadoop - HDFS での Avro スキーマの生成

Question

HDFS に一連の avro ファイルがあるシナリオがあります。HDFS にこれらの AVRO データ ファイルの Avro スキーマ ファイルを生成する必要があります。Spark ( https://github.com/databricks/spark-avro/ blob/master/src/main/scala/com/databricks/spark/avro/SchemaConverters.scala )。

AVRO データ ファイルをローカルに移動して HDFS PUT を実行する以外に何かありますか。

どんな提案でも歓迎します.Thanks!

Answer 1

すべての avro ファイルには、それが書かれた avro スキーマが組み込まれています。avro-tools.jar (maven からダウンロード) を使用して、このスキーマを抽出できます。1 つの部分のみをダウンロードし (他のすべてのファイルが同じスキーマで記述されていると仮定)、avro ツール (java -jar ~/workspace/avro-tools-1.7.7.jar getschema xxx.avro) を使用してそれを抽出できます。