マップリデュースジョブディレクトリからキー/値データを視覚化するためのシンプルで簡単に起動できるJavaツールはありますか?
具体的には、20ジョブのマップを参照してワークフローを減らし、個々のファイルをクリックしてデータを確認し、ファイルサイズのヒストグラムを表示することもできます。
ここにはいくつかの注意点があります。たとえば、-
- 一部のファイルには(テキストだけでなく)シリアル化されたデータがあります
- 明らかに、このシステムは、開発ツールではなく、「クラウドスケール」で使用するのはおそらくばかげているでしょう。
それでも、このようなツールは、接続された大規模なm/rパイプラインの開発とローカルデバッグに役立ちます。
これは開発目的です(実際のクラスターで分散キー/値Hadoopデータを視覚化しようとはしていません)。