問題タブ [gfs]

Google ファイル システムは読み取りの一貫性を提供しますか。プライマリが GFS で書き込みの一貫性を維持していることを知っているので、私は混乱しています。システムが書き込みの一貫性を提供した場合、それは読み取りの一貫性も提供するということではありませんか?

ありがとうマンジット

Google ドキュメント内のドキュメントなど、Google はドキュメントをどのように保存および整理していますか? Google が使用しているファイル システムをお聞きしたいのですが、GFS を使用していることは知っています。GFS は、巨大なファイルを格納するための分散ファイル システムです。基本的に、私が関心のあるドキュメントを含む巨大なデータベースです。

私の質問は: 各ドキュメントは DB 内のレコードですか? また、Web ページなどの階層システム内のドキュメントをどのように識別しますか? 必要に応じて、それらをどのように関連付けるか、階層構造を表すか?

Google が DB に独自の「ファイル システム」を作成したようです (基礎となる GFS 以外に)。誰かが仕様やその動作を知っていますか?

The Google File System Section 2.3という論文では、次のように述べています。

ファイルは固定サイズのチャンクに分割されます。

しかし、理由は言わないでください。それの利点は何ですか？

Google File System で公開された論文を読んでいて、GFS が既存のファイルの任意の場所への追加と更新をサポートしていることを知りました。

私が知る限り、HDFS は更新操作をサポートしていません。これは、1 回の書き込みと複数回の読み取り機能を目的としているためです。HDFS は現在、追加操作をサポートしています。最近のリリースでは、デフォルトで dfs.support.append が false に設定されています。

だから私の質問は、何らかの更新操作を行う方法があるということです。調べてみましたが、わかったのは、HDFS が更新操作をサポートしていないということだけです。

ご連絡をお待ちしております。

参考までに: 私はクローデラに関する多くの投稿を読んだことがあります。Hadoop の貢献者によるいくつかのブログで、HDFS が更新操作をサポートしている可能性があることを発見できました。しかし、更新操作の方法について言及したり、正確に述べたりした人は誰もいません。

64MBに分割する理由はありますか？そして、各チャンクを 64 KB ブロックに分割します。これには何か理由がありますか?

SQL および NOSQL データベースは facebook で使用されています

1.GFS、HDFS、または両方を使用しているか、またはその他を使用しているか。

2. HDFS と GFS で動作する異なる抽象化アプリケーション レイヤーは何ですか??

3.HADOOP について聞いたことがありますが、Map Reduce はどのように機能しますか?

メリットを教えてください。

また、2 番目の質問についても深く説明します。

アメリカのgfs気象モデルからデータをダウンロードしました（ftp://ftp.ncep.noaa.gov/pub/data/nccf/com/gfs/prod/gfs.2014101812/masterから、1か月以上読む場合は日付を編集してください後で）。それらはグリブファイルです。

grads を使用してデータをプロットしていますが、マップ上に 1 つのタイムステップ (= 1 ファイル) からデータをプロットすると正常に動作します。そこで私の最初の試みは、最初の 2 つのファイルを開いて、同じ風速の地域を同じ色で示す影付きのプロットを作成することでした。私が得るのは、正しい軸を持つ空のプロットです。

opengrads – Grid Analysis and Display System (GrADS) バージョン 2.0.2.oga.2 を使用しています。

異なるタイムステップ (= 異なるファイル) からのデータを 1 つのプロットにプロットするのを手伝ってくれる人はいますか?

Google Compute Engineに6 ノードのHadoop クラスターをデプロイしました。

Hadoop ファイル配布システム(HFS)ではなく、 Google ファイル システム(GFS)を使用しています。 . そこで、 HDFS の分散キャッシュ方式と同じ方法で、GFSのファイルにアクセスしたいと考えています。

この方法でファイルにアクセスする方法を教えてください。