0

マッパーとリデューサーのフェーズで警告をログに記録します。すべてのログを検索するのではなく、警告ログを含むログを簡単に見つける良い方法があるかどうか疑問に思っています。Hadoop M/R にはこれに対する何かがありますか?

ありがとう、ディーン

4

1 に答える 1

0

それがあなたの質問かどうかはわかりませんが、プロンプトで次のコマンドを試すことができます。

tail -f $HADOOP_INSTALL/*tasktracker*.log $HADOOP_INSTALL/*datanode*.log | grep -i warning

「警告」という単語が含まれるデータノードまたはタスクトラッカーログファイルの新しい行を出力します (大文字と小文字を区別しません)。

分散ソリューションを求める場合は、このように SSH を介してまったく同じことを行うことができます

ssh slave1 'tail -f $HADOOP_INSTALL/*tasktracker*.log $HADOOP_INSTALL/*datanode*.log | grep -i warning

スレーブごとに 1 行、または bash for ループを使用

役立つことを願っています

于 2014-05-17T20:01:11.843 に答える