3

同時に最大 100 個の IO 負荷の高いポッドを実行する k8s クラスターをデプロイしたいと考えています。それらはすべて同じボリュームにアクセスできる必要があります。

これまでに試したこと:

  • CephFS
    • 設定が非常に複雑でした。トラブルシューティングが難しい。結局、何度もクラッシュしてしまい、原因が完全にはわかりませんでした。
  • Helm NFS サーバー プロビジョナー
    • かなりうまく動作しますが、IO がピークに達すると、単一のレプリカでは十分ではありません。複数のレプリカをまったく機能させることができませんでした。
  • MinIO
    • k8s でストレージ バケットを作成するための優れたツールです。しかし、私たちの操作には fs マウントが必要です。これは s3fs で理論的には可能ですが、約 100 個のポッドを実行しているため、追加で 100 個の s3fs サイドカーを実行する必要があります。それは悪い考えのようです。

比較的可用性の高い GKE クラスタに 2 TB のデータをマウントするには、何らかの方法が必要ですか?

Firestorage は機能しているように見えますが、他のソリューションよりもはるかに高価であり、多くの IO 操作ではすぐに実行不可能になります。

サーバー障害でこの質問を作成することを考えましたが、k8s コミュニティは SO よりもはるかに小さいです。

4

1 に答える 1

1

少なくとも私たちのユースケースでは、2020 年 1 月の時点で決定的な答えがあると思います。

| Solution        | Complexity | Performance | Cost           |
|-----------------|------------|-------------|----------------|
| NFS             | Low        | Low         | Low            |
| Cloud Filestore | Low        | Mediocre?   | Per Read/Write |
| CephFS          | High*      | High        | Low            |

* You need to add an additional step for GKE: Change the base image to ubuntu

私自身は Filestore のベンチマークを行っていませんが、stringy05の応答をそのまま使用します。他のユーザーは、そこから本当に優れたスループットを得るのに苦労しています。

Helm でサポートされていれば、Ceph ははるかに簡単になる可能性があります。

于 2020-01-16T17:01:44.610 に答える