クラウド ストレージに Hadoop コネクタを使用する予定がある場合でも、Google クラウドの Click to deploy Hadoop ワークフローでローカル永続ディスクのサイズを選択する必要があるのはなぜですか? デフォルトのサイズは 500 GB です。ディスクが必要な場合は、サイズをもっと小さくする必要があると考えていました。Google クラウドの Hadoop でクラウド ストレージ コネクタを使用する場合に推奨される永続ディスク サイズはありますか?
「Google Cloud Platform に Apache Hadoop をデプロイする
Apache Hadoop フレームワークは、コンピューターのクラスター全体にわたる大規模なデータ セットの分散処理をサポートします。
Hadoop は単一のクラスターにデプロイされます。デフォルトのデプロイでは、1 つのマスター VM インスタンスと 2 つのワーカー VM が作成され、それぞれに 4 つの vCPU、15 GB のメモリ、および 500 GB のディスクがあります。クラスターのセットアップを管理するために、一時的なデプロイ コーディネーター VM インスタンスが作成されます。
Hadoop クラスタは、Cloud Storage バケットをデフォルトのファイル システムとして使用し、Google Cloud Storage コネクタを介してアクセスします。Cloud Storage ブラウザにアクセスして、Hadoop デプロイで使用できるバケットを検索または作成します。
Google Compute Engine 上の Apache Hadoop クリックしてデプロイ Apache Hadoop Apache Hadoop ZONE us-central1-a WORKER NODE COUNT
CLOUD STORAGE BUCKET バケットを選択 HADOOP VERSION 1.2.1 MASTER NODE DISK TYPE Standard Persistent Disk MASTER NODE DISK SIZE (GB)
WORKER NODE DISK TYPE Standard Persistent Disk WORKER NODE DISK SIZE (GB) "