cloudera - Sqoop2 Avro サポート

Question

sqoop クライアント引数は、次のように Avro 形式としてエクスポートをサポートします。

--as-avrodatafile+

しかし、Hue と Client Java API for Sqoop を調べてみると、TEXT_FILE と SEQUENCE_FILE しかサポートしていません。AVRO のサポートを有効にする方法と、その使用方法に関するドキュメントは? Avro は列名に基づいてスキーマを作成しますか?

Answer 1

ここでの違いは、Sqoop には現在、Sqoop 1 と Sqoop 2 の 2 つのメジャー バージョンがあることです。Sqoop 1 は、--as-avrodatafile 引数を介して Avro 形式をサポートする古い安定バージョンです。Sqoop 2 は、新しいユースケースに対応し、セキュリティ上の問題を修正するために、ゼロから完全に再設計された新しいバージョンです。悲しいことに、Sqoop 2 の Avro サポートはまだありません。Hue は Sqoop 2 を使用しているため、Avro にインポートするオプションは表示されません。ただし、Avro にインポートする必要がある場合は、Sqoop 1 を引き続き使用できます。