hadoop - Hadoop MapReduce を特定のファイル拡張子に制限する

Question

特定のファイル拡張子でのみ実行される MapReduce ジョブをクラスターで実行しようとしています。クラスター上に大量の異種データがあり、この特定のジョブでは .jpg でのみ実行したいと考えています。マッパーで制限せずにこれを行う方法はありますか。これは、ジョブを実行するときに簡単に実行できるはずです。Hadoop fs JobName /users/myuser/data/*.jpg /users/myuser/output のようなものを考えています。

Answer 1

あなたの例は書かれたとおりに動作するはずですが、setInputPaths(Job, String) メソッドを呼び出している入力形式で確認する必要があります。これにより、glob 文字列 "/users/myuser/data/*.jpg が解決されるためです。 " /users/myuser/data の個々の jpg ファイルに変換します。