数 TB のレコードが KAFKA トピックに書き込まれる本番環境のセットアップでは、KAFKA コネクト - HDFS コネクタを使用するベスト プラクティスは何ですか?
私の kafka インスタンスは AWS ホスト名 abcd で実行され、私の hadoop namenode は AWS ホスト名 pqrs で実行されています 開発/POC の目的で、私たちは abcd で実行されている kafka インスタンスと同じボックスでコンフルエントを維持しました HDFS クラスターのサイズは 500GB です。
しかし、クラスタ サイズが 20 ～ 30 TB になるプロダクション タイプのセットアップでは、コンフルエントを KAFKA インスタンスと同じボックス、Namenode ボックス、または別のボックスで維持することをお勧めしますか? このような実稼働の場合、コンフルエントにはどれくらいの個別のディスク サイズが必要ですか?