他の誰かがコーディングしたこのHadoopプロジェクトがあります（リンク）。私は情報源を持っています。これを自分のクラスター（基本的には3台のubuntuマシン）に実装したいと思います。ただし、言及プロジェクトはEC2プラットフォーム（Clouderaディストリビューションを使用）で機能します。
それで、そのようなプロジェクトを実行するためのソフトウェアをシステムに持たせるために、システムに何をインストールする必要がありますか？
Cloudera Manager、OracleJavaについて考えました。
プロジェクトが (EMR ではなく) cloudera ディストリビューションで動作する場合は、cloudera をインストールできます。問題はありません。問題があると予想できる唯一のコーナー-s3がファイルシステムとして使用された場合。
プロジェクトが実際に s3 に対して機能する場合、次の 2 つの方法があり
ます。
b) S3 に代わるオープン ソースである OpenStack の Swift をインストールし、その上で Hadoop を実行してみます。開示：私はSwiftでhadoopを実行するプロジェクトに携わっています。 https://github.com/Dazo-org/swift