説明から es-hadoop が何であるかは、私には完全には明らかではありません。
これは、データを ES クラスターから Hadoop 分析用の HDFS に移動する単なる「コネクター」ですか? もしそうなら、低レイテンシのテキスト クエリに HBase を使用しないのはなぜでしょうか?
es-Hadoop は通常の ES とは異なるインストールですか?
いくつかの説明をお願いします。
ありがとう。
質問する
4961 次
1 に答える
7
ES-Hadoop は、Hadoop エコシステムと ES の間のコネクタにかなり近づいています。ES の個別のリリースではありません。
基本的に、Hadoop エコシステム アプリケーションと ES との統合を改善します。私の組織では、この機能を 2 つの目的で使用しています。
データを ES にインデックス付けする前に、Spark を使用してデータを分析し、関連する集計を実行して、ES で実行する必要があるインデックス付けの量を減らします。ES-Hadoop は、Spark データ構造から ES に直接インデックスを作成するのに役立ちます。1 行のコードで索引付けプロセスを開始しているため、自分で索引付けプログラムを作成する必要はありません。(この機能は構成可能で、好きなようにデータにインデックスを付ける柔軟性があります)。
私たちの組織では、ES をほぼリアルタイムの分析クラスターとして使用しています。ES のデータは、お客様にとって最高のパフォーマンスが得られるように配置されます。ときどき (通常、いくつかの新機能についてのアイデアがあるとき)、ES からデータを取得し、データに対して複雑な処理を実行する必要があります。そのような場合、1 行のコードで ES データから Spark データ構造を作成することもできます。
したがって、ES-Hadoop は適切に作成されたコネクタに近くなります。ES クラスターから Hadoop にデータを転送する必要があります。
HBase との比較についてはよくわかりません。キー バリュー ストアである HBase の機能を、汎用検索エンジンであり、最新バージョンで非常に優れた分析機能を実装した ES と実際に比較することはできません。私が見ているように、私たちはさまざまな一連の問題にアクセスするさまざまなツールを扱っています。
于 2015-07-30T15:34:34.667 に答える