問題タブ [weed-fs]

私の仕事は、静止画像/動画ファイル用の分散システムを設計することです。データのサイズは約数十テラバイトです。これは主に HTTP アクセス用です (したがって、データの処理はありません。または、サイズ変更などの単純な処理のみです。ただし、アプリケーションで直接実行できるため、重要ではありません)。

もう少し明確にするために、それは次のシステムです。

1. データの合計サイズが非常に大きいため、分散 (水平スケール) する必要があります。
2. 主にHTTP経由で小さな静的ファイル (画像、サムネイル、短い動画など) を提供します。
3. 通常、データの処理に関する要件はありません (したがって、MapReduce は必要ありません)。
4. データへの HTTP アクセスの設定は簡単に行うことができます。
5. (持つべき) 良好なスループット。

私は考えています：

1. ネイティブ ネットワーク ファイル システム: しかし、データが 1 台のマシンに収まらないため、実現可能ではないようです。

2. Hadoop ファイルシステム。以前は Hadoop mapreduce を使用していましたが、Hadoop を HTTP 要求の静的ファイル リポジトリとして使用した経験はありません。したがって、それが可能かどうか、または推奨される方法かどうかはわかりません。

3. MogileFS. 有望に思えますが、MySQL を使用して (1 台のマシンで) ローカル ファイルを管理すると、オーバーヘッドが大きくなりすぎると思います。

何か提案はありますか？

weed-fs 0.7 ベータ版を使用しています。マスター サーバーには空きボリューム サーバーが 2 つあるのに、常に空きボリューム サーバーがないという問題があります。Linode に 2 つのサーバーがあり、そのうちの 1 つを使用して、このコマンドを使用してマスター、ボリューム、およびファイラー サーバーを作成しました。

3つのシステムは正常に起動します。しかし、このコマンドを使用してマスターサーバーを確認すると:

結果は次のとおりです。

これを使用して、ファイルをボリューム サーバーに直接追加できます。

上記のファイルを追加しようとすると、サーバーのコンソールに次のような応答が表示されます。

私の最善の推測は、両方が同じサーバー上にあるにもかかわらず、どういうわけかマスター サーバーがボリューム サーバーを検出できないように見えるということです。2 台目のサーバーを使用してボリューム サーバーを実行し、プライベート IP を使用してマスター サーバーの IP アドレスを指定しようとしましたが、どちらも機能しません。しかし、ボリューム サーバーはマスター サーバーがなくても機能するようです。

画像ファイルを seaweedfs に書き込んでいますが、エラーがスローされます

以下はコードです

上記のコードで間違っていること。

1 つの seaweedfs マスターと 1 つのボリューム サーバーをデプロイします

数週間実行すると、次のエラーが表示されます。

ボリュームを7から50（パラメータ最大）に変更すると解決しました。しかし、私は海藻の使用量のディスクサイズを確認します

14M のディスク使用量しか表示されていませんが、ボリューム数の本当の意味は何ですか?