私はAWS初心者です。クラスターを作成し、マスター ノードに ssh 接続しました。次を使用して、s3://my-bucket-name/ から pig のローカル file://home/hadoop フォルダーにファイルをコピーしようとしている場合:
cp s3://my-bucket-name/path/to/file file://home/hadoop
エラーが発生します：
2013-06-08 18:59:00,267 [メイン] エラー org.apache.pig.tools.grunt.Grunt - エラー 29 99: 予期しない内部エラー。AWS アクセス キー ID とシークレット アクセス キーは、s3 URL のユーザー名またはパスワードとして (それぞれ) 指定するか、 fs.s3.awsAccessKeyId または fs.s3.awsSecretAccessKey プロパティを (それぞれ) 設定して指定する必要があります。
s3 バケットに ls することさえできません。AWS_ACCESS_KEY と AWS_SECRET_KEY を設定しても成功しませんでした。また、豚が適切なフィールドを設定するための構成ファイルを見つけることができませんでした。
何か助けてください。
編集:完全な s3n:// uri を使用して豚にファイルをロードしようとしました
grunt> raw_logs = LOAD 's3://XXXXX/input/access_log_1' USING TextLoader a
s (line:chararray);
grunt> illustrate raw_logs;
次のエラーが表示されます。
2013-06-08 19:28:33,342 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Hadoop ファイル システムへの接続: file:/// 2013-06-08 19:28: 33,404 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MRCompiler - ファイル連結しきい値: 100 楽観的? fal se 2013-06-08 19:28:33,404 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MultiQueryOptimizer - 最適化前の MR プラン サイズ: 1 2013-06-08 19:28:33,405 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MultiQueryOptimizer - 最適化後の MR プランのサイズ: 1 2013-06-08 19:28:33,405 [main] INFO org.apache.pig.tools. pigstats.ScriptState - Pig スクリプト設定がジョブに追加されます 2013-06-08 19:28:33,429 [main] INFO org.apache.pig.backend.hadoop. executionengine.mapReduceLayer.JobControlCompiler - mapred.job.reduce.markreset.buffer.percent が設定されていません。デフォルトに設定されています 0.3 2013-06-08 19:28:33,430 [main] ERROR org.apache.pig.pen.ExampleGenerator - データの読み取りエラー。ジョブ構成の作成中に内部エラーが発生しました。java.lang.RuntimeException: ジョブ構成の作成中に内部エラーが発生しました。org.apache.pig.pen.ExampleGenerator.getExamples(ExampleGenerator.java :160) で org.apache.pig.PigServer.getExamples(PigServer.java:1244) で org.apache.pig.tools.grunt.GruntParser.processIllustrate (GruntParser.java:722) org.apache.pig.tools.pigscript.parser.PigScriptParser.Illustrate(PigS criptParser.java:591) org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScript パーサー) .java:306) org.apache.pig.tools.grunt. org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.j ava:165) の GruntParser.parseStopOnError(GruntParser.j ava:189) org.apache.pig.tools.grunt.Grunt.run(Grunt. java:69) org.apache.pig.Main.run(Main.java:500) で org.apache.pig.Main.main(Main.java:114) で sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド) で組織で.apache.hadoop.util.RunJar.main(RunJar.java:187) 2013-06-08 19:28:33,432 [main] エラー org.apache.pig.tools.grunt.Grunt - エラー 29 97: IOException が発生しました。例外 ：ジョブ構成の作成中に内部エラーが発生しました。ログファイルの詳細: /home/hadoop/pig_1370719069857.log