hadoop - WebHDFS と HttpFS

Question

WebHDFS REST APIとHttpFSの違いは何ですか?

私が正しく理解していれば：

• HttpFS は、HDFS の上に REST API を公開する独立したサービスです。
• WebHDFS は HDFS に組み込まれた REST API です。それ以上のインストールは必要ありません

私は正しいですか？

一方を他方の代わりに使用することをお勧めするのはいつですか?

Answer 1

あなたの質問に関連する記事を読みました。以下はリンクです。

https://www.linkedin.com/today/post/article/20140717115238-176301000-accessing-hdfs-using-the-webhdfs-rest-api-vs-httpfs

WebHDFS と HttpFs WebHDFS と HttpFs の主な違い: WebHDFS はクラスターのすべてのノードにアクセスする必要があり、一部のデータが読み取られるとそのノードから直接送信されますが、HttpFs では単一のノードが「ゲートウェイ」のように動作し、クライアントノードへのデータ転送の単一ポイントになります。そのため、大きなファイルの転送中に HttpFs が停止する可能性がありますが、HDFS へのアクセスに必要なフットプリントを最小限に抑えていることは良いことです。