Mesos 0.14 の上で Hadoop 1.2.1 を実行しています。私の目標は、後で最適化するために、入力データのサイズ、実行時間、CPU 使用量、メモリ使用量などをログに記録することです。これらはすべて、データ サイズを除き、Sigar を使用して取得されます。
実行中のジョブの入力データ サイズを取得する方法はありますか?
たとえば、hadoop example のterasortを実行している場合、実際にジョブを実行する前に、teragen の生成されたデータ サイズを取得する必要があります。Wordcount exampleを実行している場合、wordcount 入力ファイル サイズを取得する必要があります。このフレームワーク内でどのジョブが実行されるかを後で知ることができないため、データ サイズを自動的に取得する必要があります。
Java を使用して mesos ライブラリ コードの一部を記述しています。できれば MesosExecutor クラス内のデータサイズを取得したいです。何らかの理由で、Hadoop/Mesos のアップグレードはオプションではありません。
提案や関連する API をいただければ幸いです。ありがとうございました。