hadoop - あるクラスターから別のクラスターに転送するときに、hadoop ENCRYPT データで distcp を実行します

Question

あるクラスターから別のクラスターに転送する際に、distcp にデータを暗号化するオプションがあるかどうかを知りたいです。S3 クラスターでの暗号化をサポートしていることを知りましたが、それは amazon の S3 と関係があります。あるクラスターから別のクラスターにプレーン テキスト ファイルを移動するとどうなるでしょうか。暗号化されますか、それとも平文で送信されますか? サポートされている場合、そのような暗号化を有効にすることはできますか?

Answer 1

HDFSドキュメントから:

KMS が設定され、NameNode と HDFS クライアントが正しく設定されると、管理者は Hadoop キーと hdfs crypto コマンドライン ツールを使用して暗号化キーを作成し、新しい暗号化ゾーンを設定できます。既存のデータは、distcp などのツールを使用して新しい暗号化ゾーンにコピーすることで暗号化できます。

それが役に立てば幸い。