問題タブ [druid]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
emr - データ取り込みタスク: リモートの Hadoop EMR クラスターではなく、ローカルで実行されている Hadoop
マルチノード ドルイド クラスターをセットアップしました。1) コーディネーターおよびオーバーロード (m4.xl) として実行される 1 つのノード 2) 2 つのノードがそれぞれ履歴マネージャーと中間マネージャーの両方を実行します。(r3.2xl) 3) ブローカーを実行する 1 つのノード (r3.2xl)
これで、取り込みタスクに使用したい EMR クラスターが実行されました。問題は、CURL コマンドを介してジョブを送信しようとするたびに、ジョブがローカルに送信されるのではなく、両方の中間マネージャーで常にローカル Hadoop ジョブとして開始されることです。リモート EMR クラスター。私のデータは S3 にあり、S3 もディープ ストレージ用に構成されています。また、EMRマスターからすべてのjarをコピーしましたhadoop-dependencies/hadoop-client/2.7.3/
Druid バージョン: 0.9.2 EMR バージョン: 5.2
添付されたインデックス作成ジョブ、一般的なランタイム プロパティ、および中間管理者のランタイム プロパティを見つけてください。
- Q1) リモート EMR クラスターに送信するジョブを取得する方法。
- Q2) overlord:8090 でインデックスタスクのログが来ないのですが、どうすれば有効にできますか?
ファイル: data_index.json
ファイル: common.runtime.properties
ファイル: 中間管理者 runtime.properties
druid - ドルイドへの素早い挿入
ドルイドへのすばやい取り込みで問題に直面しています。物事は後で中断を開始しorg.apache.hadoop.mapred.LocalJobRunnerます - マップ タスク エグゼキュータが完了します。入力ファイルを取得できます。
私のスペックjsonファイル -
取得エラー