java - yourkit で Hadoop タスクをプロファイリングする方法

Question

Hadoop ジョブのメモリ使用量をプロファイリングしようとしています。

セットアップを含め、キットを使用して Hadoop タスクを監視する方法について、手順を追って説明してもらえますか?

Answer 1

次のエントリを mapred-site.xml ファイル ($HADOOP_HOME/conf/ にある場合、$HADOOP_HOME は Hadoop インストール ディレクトリ) に追加するだけです。

<property>
  <name>mapred.child.java.opts</name>
  <value>
 -agentpath:{yourkit installation directory}/bin/linux-x86-64/libyjpagent.so=tracing,dir={output directory}
 </value>
</property>

linux-x86-64 とは異なるプラットフォームで実行している場合は、プラットフォームに合わせて上記の値を変更する必要がある場合があります (詳細については、こちらを参照してください) 。

ここにリストされている任意のオプションをプロファイラー エージェントに渡すことができます

これにより、指定された出力ディレクトリ内の子プロセスごとに 1 つずつ、多数のスナップショットが作成されます。