Hadoop Disaster Recovery について教えてくれる人はいますか?
バックアップはdistcpを使用するため、クラスターから別のクラスターにデータを複製する必要がありますか? または、 copyToLocal を使用してデータを localmachine にコピーできますか?
誰でもそれについて考えますか?
DRP 計画は単なるテクノロジを超えており、要件はソリューションに大きな影響を与える可能性があります。
たとえば、データを失うわけにはいかない場合は、アクティブ/アクティブ セットアップが必要で、データを 2 つの Hadoop クラスターに同時に送信します。スペクトルの反対側では、hadoop のレプリケーション (デフォルトは 3 つのコピーですが、変更できます) とラック認識により、セカンダリ ラックにコピーを提供できます。その間に、言及した distcp などを使用して、クラスターからクラスターにデータをコピーできます。
さらに、hadoop データ ライフサイクル管理の新しいイニシアチブであるプロジェクト falconに従うことをお勧めします。