7

Hadoop のバックエンドとして GlusterFS または Ceph を使用しようとした人はいますか? 単にプラグインを使用して物事を縫うことについて話しているのではありません。パフォーマンスは HDFS 自体より優れていますか? プロダクションでの使用に問題がないかどうか。

また、オブジェクト ストレージ、hadoop hdfs ストレージをすべて 1 つのストレージとしてマージすることは本当に良い考えですか? または、それらを分離した方がよいでしょう。

4

2 に答える 2

7

Hadoop 2.7 で「ドロップイン」HDFS の代替として Ceph を試してみましたが、多くの統合の問題を解決した後、terasort ベンチマークでデフォルトのレプリケーション ファクターを使用した HDFS よりも 2 倍または 3 倍遅いことがわかりました。この理由はわかりません。他の人々は、同様の結果で別のアプローチを試みました:

http://www.snia.org/sites/default/files/SDC15_presentations/cloud_files/YuanZhou_big_data_analytics_on_object_store_r3.pdf

オブジェクトと hdfs ストレージを組み合わせるのは良い考えですか? 質問が正しくないと思います。HDFS (Ozone および FUSE 経由) と Ceph の両方が、オブジェクト ストレージおよび通常の POSIX ファイルシステムとして使用する機能を提供します。Ceph にはブロック ストレージを提供するエッジもあります。 /jira/browse/HDFS-11118 「ストレージを POSIX FS、オブジェクト、ブロック ストアとして同時に公開できますか?」という質問の場合 答えは、設計がスケーラビリティと高可用性の要件を満たしている場合、実際には素晴らしいアイデアである可能性があります。

于 2016-08-27T06:10:17.697 に答える