34

予備の Intel Linux サーバーが多数 (数百台) 配置されており、それらを Web ホスティングおよびファイル共有環境の分散ファイル システムに使用したいと考えています。これは HPC アプリケーション向けではないため、高いパフォーマンスは重要ではありません。主な要件は高可用性です。1 つのサーバーがオフラインになっても、そのハード ドライブに保存されているデータは他のノードから引き続き利用できます。TCP/IP 上で実行し、標準の POSIX ファイル権限を提供する必要があります。

私は以下を見てきました：

  • Lustre ( http://wiki.lustre.org/index.php?title=Main_Page ):非常に近いですが、ノード上のデータに冗長性はありません。RAID または DRBD を使用してデータを HA にする必要があります。Sun とオープン ソースでサポートされているため、しばらくは使用できるはずです

  • gfarm ( http://datafarm.apgrid.org/ ): 冗長性を提供しているように見えますが、複雑さと保守性が犠牲になっています。Lustre ほどサポートされていません。

これらのシステムまたは他のシステムで動作する可能性のある経験がある人はいますか?

4

7 に答える 7

21

GlusterFSもチェック

編集 (2012 年 8 月): Cephはついに準備が整いました。最近、著者はInktankを設立しました。これは、商用サポートを販売する独立した会社です。一部のプレゼンテーションによると、マウント可能な POSIX 準拠のファイルシステムは最上位層であり、まだ実際にはテストされていませんが、下位層は現在しばらくの間、運用環境で使用されています。

興味深い部分は RADOS レイヤーです。これは、libradosライブラリ (複数の言語で利用可能) を介した「ネイティブ」アクセスと Amazon S3 互換の RESP API の両方を備えたオブジェクトベースのストレージを提供します。どちらも、Web サービスに大量のストレージを追加するのに十分すぎるほどのものです。

このビデオは、哲学、アーキテクチャ、機能、および現在の状態をよく説明しています。

于 2008-11-06T15:45:33.357 に答える
5

私の意見では、Linux に最適なファイル システムは MooseFS です。これは非常に新しいものですが、Ceph や Lustre と比較する機会があり、MooseFS が最適であると断言できます。

于 2011-10-11T09:56:53.037 に答える
4

現在、Gluster は非常に多くの報道を受けています。

http://www.gluster.org/

于 2011-01-06T20:21:16.830 に答える
2

誰かに強制されない限り、Lustre 以外のものを使用することを強くお勧めします。私が他の人から聞いた話や、私自身もかなり長い間悪夢に悩まされていたことから、Lustre はあらゆる状況で非常に簡単に壊れてしまうという事実があります。また、システム内のクライアントが 1 つだけ故障した場合、そのクライアントは通常、重要なグローバル ロックを保持している間、エンドレス do_nothing_loop モードに入ります。そのため、次に別のクライアントが同じ情報にアクセスしようとすると、クライアントもハングします。したがって、クラスター全体を再起動することになることがよくありますが、これは通常は回避しようとするものだと思います;)

FhGFS (http://www.fhgfs.com) のような最新の並列ファイル システムは、ここではより堅牢であり、同じマシン上でサーバー コンポーネントとクライアント コンポーネントを実行するなどの優れた機能を実行することもできます (ただし、組み込みの HA 機能はまだ下にあります)。彼らのチームの誰かが私に言ったように、彼らの実装は非常に素晴らしいものになるでしょう)。

于 2011-06-19T12:06:56.617 に答える
2

光沢は私たちのために働いています。完璧ではありませんが、私たちが試した唯一のもので、負荷がかかっても壊れませんでした. 今でも時々 LBUGS が発生し、100 TB 以上のファイル システムを扱うのは決して簡単ではありませんが、Lustre システムが機能し、パフォーマンスと可用性の両方が向上しました。

于 2010-11-22T02:02:28.163 に答える
0

Cephは、こ​​の分野への有望な新しい参入者のようです。ただし、このサイトは、まだ本番環境で使用する準備ができていないと主張しています.

于 2009-11-27T16:26:10.150 に答える
0

私は分散ファイルシステムについてよく読んでいますが、FhGFS が最高だと思います。

http://www.fhgfs.com/

試してみる価値があります。詳細については、次を参照してください。

http://www.fhgfs.com/wiki/

于 2011-06-12T16:13:14.130 に答える