特定の実行のすべてのジョブログ/タスク試行ログを取得し、それらをどこかに保持する簡単な方法があるかどうか疑問に思っています (おそらく HDFS)?
/var/log/hadoop-0.20-mapreduce/userlogs特定のジョブのタスク試行のログが のローカル ファイルシステムにあること、および各スレーブ ノードへの SSH にスクリプトを書き込んで、それらすべてをスクープできることを知っています。ただし、意味がある場合はそれを回避しようとしています-おそらく、私が気付いていないHadoopの組み込み機能がありますか?
このリンクは古いですが、役立つ情報が含まれていますが、探している答えが含まれていませんでした。
mapreduce.job.userlog.retain.hoursデフォルトでは 24 に設定されているため、ジョブのログは 1 日後に自動的に消去されます。retain.hoursこれらを永続化するためにパラメーターの値を増やす以外にできることはありますか?