Clouderaのドキュメントには、Hadoopはディスク暗号化をサポートしていないと記載されています。ハードウェアで暗号化されたハードドライブをHadoopで使用することは可能でしょうか?
4 に答える
eCryptfsを使用して、個々のHadoopノードでファイルごとの暗号化を行うことができます。セットアップはかなり面倒ですが、確かに実行できます。
Gazzangは、暗号化を通じて「ビッグデータ」を保護するためにeCryptfs上に構築されたターンキー商用ソリューションを提供し、HadoopおよびNoSQLベンダーのいくつかと提携しています。
Gazzangのクラウドベースのビッグデータ暗号化プラットフォームは、高度なキー管理とプロセスベースのアクセス制御リストを使用して、クラウドまたはオンプレミスに保存されているデータを透過的に暗号化し、セキュリティとコンプライアンスの要件を満たすのに役立ちます。
完全な開示:私はeCryptfsの作成者および現在のメンテナーの1人です。私はGazzangのチーフアーキテクトであり、リード開発者でもあります。
ドライブにファイル システムをマウントした場合、Hadoop はそのドライブを使用できます。HDFS は、そのデータを通常の OS ファイル システムに格納します。Hadoop は、ドライブが暗号化されているかどうかを認識せず、気にしません。
Hadoop は暗号化を直接サポートしていませんが、暗号化/復号化に圧縮コーデックを使用できます。暗号化と HDFS の詳細については、こちらをご覧ください。
ハードウェアベースの暗号化に関しては、Hadoop が対応できるはずだと思います。Spike が述べたように、HDFS は他の Java アプリケーションと同様に、そのデータを通常の OS ファイル システムに格納します。参考までに、MapR は Direct I/O を使用して HDFS パフォーマンスを向上させます。
Intel の Rhino も参照してください。まだオープンソースではありません...
https://github.com/intel-hadoop/project-rhino/ https://hadoop.intel.com/pdfs/IntelEncryptionforHadoopSolutionBrief.pdf