1

Cloudera CDH 5.3 で管理されている Hadoop クラスターがあります。

マスター マシン (10.44.162.169) に ElasticSearch 1.4.4 がインストールされています。

marvel プラグインをダウンロードしたので、次の方法で ES にアクセスし ます。

後でデータをプッシュするために、mytype という名前のタイプを持つ myindex という名前のセンスを介してインデックスを作成しました。

また、kibana 4 をインストールし、kibana.yml を次のように変更しました。

# The host to bind the server to
host: "10.44.162.169"

# The Elasticsearch instance to use for all your queries.
elasticsearch_url: "http://10.44.162.169:9200"

ポート 5601 (10.44.162.169:5601) 経由でアクセスします

ここで、hdfs にあるデータを ElasticSearch にロードしたいと考えています。

es-hadoop jar をダウンロードしてパスに追加した後。

これが私が進めた方法です：

REGISTER /usr/elasticsearch-hadoop-2.0.2/dist/elasticsearch-hadoop-pig-2.0.2.jar

--load the CDR.csv file
cdr= LOAD '/user/omar/CDR.csv' using PigStorage(';')
AS TRAFFIC_TYPE_ID:int,APPELANT:int,CALLED_NUMBER:int,CALL_DURATION:int,LOCATION_NUMBER:chararray,DATE_HEURE_APPEL:chararray);



STORE cdr INTO 'myindex/mytype' USING org.elasticsearch.hadoop.pig.PigRunner.run('es.nodes'='10.44.162.169');

これを実行すると; 仕事は成功です!!!

しかし、私の ES には何も表示されないようです!

1) marvel にアクセスすると、 myindex にドキュメントが見つかりません!

2）私のKibanaプラグインにもありません！

3) さらに、HUE でログを参照したいのですが、何も見つかりません。

  • ES にデータがプッシュされないのはなぜですか?
  • 可視化するにはどうすればいいですか？
  • 作成したジョブが成功したのに、何が起こっているのかを確認できるログがないのはなぜですか?

何か助けはありますか？ありがとうございました ！

4

2 に答える 2

2

次のコマンドを試してください

store cdr INTO 'myindex/mytype' USING org.elasticsearch.hadoop.pig.EsStorage('es.nodes = localhost:9200');
于 2015-06-01T06:36:54.970 に答える
1

ElasticSearch と Hadoop の使用方法については何も知りませんが、実行パラメーターの等号 (=) を囲む単一引用符を削除しようとしましたか? すなわち: 'es.nodes'='10.44.162.169' の代わりに 'es.nodes=10.44.162.169'

于 2015-05-29T06:23:30.993 に答える