ceph - Ceph セットアップで OSD と Radosgw のホストを共有しない理由はありますか?

Question

私はCephのパフォーマンステストを行っています。これを行う VM の数は限られています。ラウンドロビン設定のために、いくつかの radosgw が必要です。OSD と radosgw に同じホストを使用すると、ベンチマークは著しく不正確になりますか?

Answer 1

Ceph RGW は軽量プロセスであり、多くの CPU とメモリを必要としませんが、ネットワーク帯域幅を必要とします。IMO 専用の Ceph クラスターとパブリック ネットワークがあり、RGW が Ceph パブリック ネットワークを使用する必要がある場合は、RGW と OSD を併置できます。

同じ場所に配置された専用 RGW を含む同様の種類のパフォーマンス ベンチマークを実行しました。2 つの構成の間に大きなパフォーマンスの違いは見つかりませんでした。同じ場所にある RGW のパフォーマンスは少し劣っていました (ただし、大きな違いはありません)。

そのため、Ceph に基づいて低コストのオブジェクト ストレージ ソリューションを設計する必要がある場合は、OSD に RGW を配置することを検討することをお勧めします。いくらかの $$ を節約できます

参考までに、同じ場所に配置された RGW 構成は、RedHat の観点からはサポートされている構成ではありません。物事はその方向に急速に進んでいます。

Answer 2

インストールの他の部分と OSD を共有する際の主な問題は、スレッド数です。Ceph OSD デーモンは、高負荷時に大量のスレッドを作成します (高負荷で Ceph を使いたいと思いませんか?)。radosgw が作成するスレッドの数はわかりませんが、「計算ホスト上の OSD」のシナリオでよく知られている問題です。スレッドが多すぎると、OS スケジューラがそれらを台無しにし始め、CPU キャッシュを脱落させ、パフォーマンスを大幅に低下させます (そしてレイテンシーを上げます)。