1

MultipleInputs.addInputPath api が入力パスとマッパーを取るように、各入力パスが 1 つのマッパーに関連付けられている複数の入力パスを取る Map-Reduce アクションを使用してワークフローを構成する際に、誰でも助けてくれますか? これらのマッパーの出力はレデューサーに渡されます。

これを Java アクションで試しましたが、実行されるマップ タスクは 1 つだけです。ただし、ここでは入力パスに巨大なデータが含まれているため、この場合 Java アクションは機能しません。

このケースを処理する方法はありますか？

よろしく、クリシュ。

4

1 に答える 1

1

ワークフローでは、入力ディレクトリのカンマ区切りのリストを に指定できますmapred.input.dir。これにより、それらのディレクトリ内のファイルが異なるマッパーで実行されるようになります。

于 2013-08-21T15:32:33.243 に答える