1

特定のファイル拡張子でのみ実行される MapReduce ジョブをクラスターで実行しようとしています。クラスター上に大量の異種データがあり、この特定のジョブでは .jpg でのみ実行したいと考えています。マッパーで制限せずにこれを行う方法はありますか。これは、ジョブを実行するときに簡単に実行できるはずです。Hadoop fs JobName /users/myuser/data/*.jpg /users/myuser/output のようなものを考えています。

4

1 に答える 1

3

あなたの例は書かれたとおりに動作するはずですが、setInputPaths(Job, String) メソッドを呼び出している入力形式で確認する必要があります。これにより、glob 文字列 "/users/myuser/data/*.jpg が解決されるためです。 " /users/myuser/data の個々の jpg ファイルに変換します。

于 2012-05-01T13:29:50.023 に答える