hadoop - jdb を使用して Hadoop jar ジョブをデバッグする方法は?

Question

次のような Hadoop ジョブを実行しています。

bin/hadoop jar /usr/joe/wordcount.jar org.myorg.WordCount /usr/joe/wordcount/input /usr/joe/wordcount/output

私の質問:どうすればこれをデバッグできjdbますか? リモートデバッグは必要ありません。ジョブは、デバッグしたいマシンと同じマシンで実行されています。

Answer 1

jdb は実行中のプロセスにいつでも接続できます。

デバッグ モードで Java アプリを実行する簡単な方法は、デバッグ パラメーターを指定して実行することです。

"-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=32887"

アプリケーションが開始された後、いつでもjpsを使用してそれを探し、jdbでプロセスに接続できます

_JAVA_OPTIONS 変数をエクスポートして、すべての JVM でこれらの設定を使用することもできます。このように、起動した JVM は常にデバッグ モードで実行されます。ただし、TCP/IP ポートでリッスンできるのは最初の 1 つだけです。