hadoop - Hadoop - HTTP アップロード (PUT) から HDFS に直接データをストリーミングする

Question

次のアプリケーション展開があります

• HTTP/FTP を介してクライアントからデータを取得する Web フロントエンド
• Hadoop クラスター

クライアントのデータを HDFS に保存する必要があります。それを行う最善の方法は何ですか？ローカル ドライブ上のクライアントからすべてのデータを消費せずに、データを HDFS に直接ストリーミングしてから HDFS に入れることは可能ですか?

Answer 1

個人的には、HDFS への低レイテンシ アクセスが必要な場合は、HBase が最適です。これは単なるキー値ストアであるため、非常に簡単に値を入れたり取得したりできます。私たちはアプリケーションで同じものを使用していますが、それは素晴らしく機能します。