5

クライアントビデオホスティングサービスの水平スケーリングファイルストレージシステムとしてHDFSを使用することを検討しています。このニーズに合わせてHDFSが開発されなかったという私の主な懸念は、「大量のデータを処理する必要がある状況で現在使用されているオープンソースシステム」です。データを処理して保存するだけではなく、HDFSをベースに小さな内部AmazonS3アナログのようなものを作成します。

おそらく重要な瞬間は、保存されたファイルサイズが100Mbから10Gbまでかなりgitになることです。

誰かがそのような目的でHDFSを使用しましたか？

4

3 に答える 3

1

S3 に相当するものを使用している場合は、分散型のマウント可能なファイル システムが既に提供されているはずです。おそらく、 http://openstack.org/projects/storage/で OpenStack を確認できます。

于 2011-06-15T15:37:27.497 に答える
0

これには MongoDB を検討することをお勧めします。ストレージとして使用できるGridFSがあります。その後、シャードを使用してストレージを水平方向にスケーリングし、レプリケーションでフォールト トレランスを提供できます。

于 2014-01-26T21:25:46.867 に答える
0

主な欠点は、POSIX セマンティクスの欠如です。ドライブをマウントすることはできず、ドライブから読み書きするには特別な API が必要です。Java APIがメインです。JNI を介して C API を作成するlibhdfsというプロジェクトがありますが、使用したことはありません。Thriftfsは別のオプションです。

また、他の選択肢と比較した読み取りパフォーマンスについてもわかりません。多分他の誰かが知っています。Lustreのような他の分散ファイルシステムをチェックアウトしましたか?

于 2011-05-26T14:57:07.647 に答える