0

S3 バケットとしてデータ ソースを使用してロードを使用しようとしています。

load s3n://hourly-logprocessing/{2013090100,2013100501}/??????_0.gz' using some loader()

動作しません。

load s3n://hourly-logprocessing/{201309????}/??????_0.gz using some loader()

動作しません。

この例外が発生します。

原因: java.lang.IllegalArgumentException: Can not create a Path from an empty string at org.apache.hadoop.fs.Path.checkPathArg(Path.java:91) at org.apache.hadoop.fs.Path.(Path .java:99) org.apache.hadoop.fs.Path.(Path.java:58) org.apache.hadoop.fs.s3native.NativeS3FileSystem.listStatus(NativeS3FileSystem.java:498) で org.apache.hadoop org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:1418) の .fs.FileSystem.listStatus(FileSystem.java:1341) org.apache.hadoop.fs.FileSystem.globPathsLevel(FileSystem.java:1602) ) org.apache.hadoop.fs.FileSystem.globStatusInternal(FileSystem.java:1539) で

単一のフォルダーを使用する場合にのみ機能します。

load s3n://some-folder/2013090100/??????_0.gz

豚はどのように拡張しますか. どんな助けでも大歓迎です。

4

1 に答える 1