hadoop-streaming - AWSElasticMapReduceストリーミング。ネストされたフォルダーのデータを入力として使用する

Question

構造s3n：//bucket/{date}/{file}.gzに100を超えるフォルダーがあるデータがあります。ストリーミングジョブを設定し、それらすべてを入力として使用するにはどうすればよいですか？ノードはフォルダであるため、s3n：//bucket/を指定しても役に立ちませんでした。

Answer 1

入力としてs3n：//bucket/*/を指定すると、正常に機能するはずです。