問題タブ [toolrunner]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Hadoop プログラムでの構成済みクラスの使用法は何ですか?
ほとんどの Hadoop MapReduce プログラムは次のようなものです。
の使用法はConfigured何ですか? asToolとConfiguredどちらにもgetConf()とsetConf()共通点があります。それは私たちのアプリケーションに何を提供しますか?
hadoop - Hadoop でカウンターと ToolRunner を使用しているときに、ジョブを RUNNING ではなく DEFINE 状態で表示する
map reduce で反復を実行しようとしています。実行中3 sequenceのジョブがあります
ジョブ 3 レデューサー
しかし、示す
上記のジョブをどのように繰り返すか?
3 つのジョブ全体が INCOMING_ATTR == 0 になるまで機能し、job3 の出力がforargs[1]への入力になるはずです。これを行うには、何かを変更する必要があります。job 1second iteration
提案してください。
私は何か間違ったことをしていますか？
java - Hadoop で ToolRunner を使用してパラメーターの検証を確認する
ToolRunnerとGenericOptionsParserを使用してコマンドライン 引数を解析し、( 経由でgetConfig()) 構成に含める Hadoop ツールがあります。
これらの引数を手動で解析して構成にロードすることはもうないので、 args にリストされている構成がディレクトリ内の実際の構成と一致するかどうかを確認するconfig.addResource(path)(クリーンな) 方法はありますか? ToolRunnerには役立つメソッドがありません。また、ToolRunner は内部でGenericOptionsParserを使用しているため、 GenericOptionsParser のメソッドを使用して比較する方法はありません(これは多少役立つだけです)。
hive - Cloudera ToolRunner
Hive サービスへのアクセスに Hue を使用しています。を使用してHiveテーブルを作成しました
300 000 レコードのデータを完璧にアップロードしました。しかし、次のようなクエリを実行している間:
MapReduce ジョブを作成していますが、この時点で次の警告が表示されます。この警告を解決する方法。
WARN : Hadoop コマンドライン オプションの解析が実行されませんでした。Tool インターフェイスを実装し、ToolRunner でアプリケーションを実行して、これを修正します。
完全なログ: