提供されたセットアップ スクリプトを使用して、Amazon EC2 で Shark/Spark (0.9.1) を実行しています。S3 からデータを読み取ってから、テーブルを S3 に書き戻そうとしています。データは S3 から正常に読み取ることができます (したがって、資格情報は正しいです) が、S3 にデータを書き込もうとすると、次のエラーが発生します。
14/07/31 16:42:30 INFO scheduler.TaskSetManager: java.lang.IllegalArgumentException による損失: 間違った FS: s3n://id:key@shadoop/tmp/hive-root/hive_2014-07-31_16- 39-29_825_6436105804053790400/_tmp.-ext-10000、予想: hdfs://ecmachine.compute-1.amazonaws.com:9000 [重複 3]
データ/テーブルを書き出すいくつかの異なる方法を試しましたが、すべて同じエラーが発生します。この特定のエラーは、次のような HQL クエリから生成されます。
INSERT OVERWRITE DIRECTORY 's3n://id:key@shadoop/bucket' SELECT * FROM table;
S3が「間違ったFS」と見なされる理由について何か考えはありますか?