問題タブ [glusterfs]

Hadoop のバックエンドとして GlusterFS または Ceph を使用しようとした人はいますか? 単にプラグインを使用して物事を縫うことについて話しているのではありません。パフォーマンスは HDFS 自体より優れていますか? プロダクションでの使用に問題がないかどうか。

また、オブジェクト ストレージ、hadoop hdfs ストレージをすべて 1 つのストレージとしてマージすることは本当に良い考えですか? または、それらを分離した方がよいでしょう。

IP ベースの認証ではなくユーザー名/パスワード認証を使用するには、クライアントとサーバーでどの設定/ファイルを変更する必要がありますか?

glusterfs をマウントしようとしています (4 サーバー、2 レプリケーション)。次のコマンドを実行します。

マウントに失敗しました。詳細については、ログ ファイルを確認してください。

ログにはこれがあります：

すべてのマシンですべてのバージョンが同じです。また、これはデータのない新しいボリュームです。助けてください！

Ps レプリケートされていない配布ボリュームは問題なくマウントされました:

2 つの gluster ピアのセットがあり、それらに複製された gluster ボリュームがあります。

初期マウント時に両方のピアが起動している場合、読み取り、書き込み、自動レプリケーション、自動フェイルオーバーなど、すべてがネイティブ glusterfs クライアント側で正常に動作します。

ただし、クライアント側からのマウント中にピアの 1 つがダウンしている場合、マウントに多くの時間がかかります (具体的には、gluster ドメインがアップ ピアを指している場合は 2 分、gluster ドメインがダウン ピアを指している場合は 4 分かかります)。 )

glusterfs ネイティブ クライアントを使用してマウントしているときに、volfile で指定されたすべてのブリック ノードに接続しようとすることはわかっています。

マウント中にタイムアウトを取得する方法はありますか、またはクライアントがすべてのブリック ノードに接続しようとする代わりに、アップ ノードのいずれかを使用するようにすることはできますか。.

これは両方のシナリオのログです。

[2016-02-11 07:07:12.559354] I [rpc-clnt.c:1847:rpc_clnt_reconfig] 0-test1-client-1: ポートを 49160 に変更 (0 から)

[2016-02-11 07:07:12.560528] I [MSGID: 114057] [client-handshake.c:1437:select_server_supported_programs] 0-test1-client-0: プログラム GlusterFS 3.3 を使用、番号 (1298437)、バージョン (330 )

[2016-02-11 07:07:12.561447] I [MSGID: 114046] [client-handshake.c:1213:client_setvolume_cbk] 0-test1-client-0: test1-client-0 に接続され、リモート ボリュームに接続されました ' /nfs_magnolia/test1'.

[2016-02-11 07:07:12.561461] I [MSGID: 114047] [client-handshake.c:1224:client_setvolume_cbk] 0-test1-client-0: サーバーとクライアントの lk-version 番号が同じではなく、 fds

[2016-02-11 07:07:12.561508] I [MSGID: 108005] [afr-common.c:3841:afr_notify] 0-test1-replicate-0: サブボリューム 'test1-client-0' が復旧しました。オンラインになります。

[2016-02-11 07:07:12.562281] 私 [MSGID: 114035] [client-handshake.c:193:client_set_lk_version_cbk] 0-test1-client-0: サーバー lk バージョン = 1

[2016-02-11 07:07:12.563523] I [MSGID: 114057] [client-handshake.c:1437:select_server_supported_programs] 0-test1-client-1: プログラム GlusterFS 3.3 の使用、番号 (1298437)、バージョン (330 )

[2016-02-11 07:07:12.564454] I [MSGID: 114046] [client-handshake.c:1213:client_setvolume_cbk] 0-test1-client-1: test1-client-1 に接続され、リモート ボリュームに接続されました ' /nfs_magnolia/test1'.

[2016-02-11 07:07:12.564466] I [MSGID: 114047] [client-handshake.c:1224:client_setvolume_cbk] 0-test1-client-1: サーバーとクライアントの lk-version 番号が同じではないため、 fds

1 つのピアがダウンしたときにログに記録します。

[2016-02-11 07:11:25.173459] I [MSGID: 100030] [glusterfsd.c:2318:main] 0-/usr/sbin/glusterfs: /usr/sbin/glusterfs バージョン 3.7.6 の実行を開始しました (args : /usr/sbin/glusterfs --volfile-max-fetch-attempts=2 --volfile-server=nfs_cluster_storage.preprod.ngp.tesco.com --volfile-server=nfs_cluster_storage.preprod.ngp.tesco.com -- volfile-id=/test1 /root/test1_mount)

[2016-02-11 07:11:25.187780] I [MSGID: 101190] [event-epoll.c:632:event_dispatch_epoll_worker] 0-epoll: インデックス 1 のスレッドを開始しました

[2016-02-11 07:13:32.455019] E [socket.c:2278:socket_connect_finish] 0-glusterfs: 10.1.8.191:24007 への接続に失敗しました (接続タイムアウト)

[2016-02-11 07:13:32.455089] E [glusterfsd-mgmt.c:1818:mgmt_rpc_notify] 0-glusterfsd-mgmt: リモート ホストとの接続に失敗しました: nfs_cluster_storage.preprod.ngp.tesco.com (トランスポート エンドポイント接続されていません）

[2016-02-11 07:13:32.455103] I [glusterfsd-mgmt.c:1845:mgmt_rpc_notify] 0-glusterfsd-mgmt: 次の volfile サーバー nfs_cluster_storage.preprod.ngp.tesco.com に接続しています

[2016-02-11 07:13:35.209045] I [MSGID: 101190] [event-epoll.c:632:event_dispatch_epoll_worker] 0-epoll: インデックス 2 のスレッドを開始しました

[2016-02-11 07:13:35.209634] I [MSGID: 114020] [client.c:2118:notify] 0-test1-client-0: 親トランスレータの準備ができており、トランスポートに接続しようとしています

[2016-02-11 07:13:35.213970] I [MSGID: 114020] [client.c:2118:notify] 0-test1-client-1: 親トランスレータの準備ができており、トランスポートに接続しようとしています

[2016-02-11 07:13:35.216469] I [rpc-clnt.c:1847:rpc_clnt_reconfig] 0-test1-client-0: ポートを 49160 に変更 (0 から)

マスター ノードと 3 つのミニオンを備えた kubernetes クラスターがあります。既に glusterfs クラスターがあり、kubernetes クラスターのすべてのノードには glusterfs-client がインストールされ、動作しています。glusterfs に /var/lib/mysql をマウントするポッド (単純な mysql ) を実行しようとしていますが、次のように表示されます。

私は実行します: kubectl get event 私が見る:

kubectl describe pod mysql-9ym10 を実行すると、次のように表示されます。

これはコンテナーの yaml ファイルです。

glusterfs 3.7.6 を使用しています。

Gluster のドキュメントには、次のように書かれています。

注:ディレクトリが作成されていない場合でも、ディレクトリにディスク制限を設定できます。ディスク制限は、そのディレクトリを作成した直後に適用されます。

しかし、存在しないディレクトリに割り当てようとすると、失敗し、以下のメッセージが表示されます。

glusterfs 3.3.2 で同じことをテストすると、非常にうまく機能しました。そのため、リリース ノート 3.5 から 3.7.1 までを調べましたが、これについては何も見つかりませんでした。

glusterfs 3.7 は、存在しないディレクトリのクォータをサポートしていませんか?

それとも私に何か問題がありますか？