2

Amazon EMR（0.20.205 MapR）で入力と出力にS3バケットを使用するにはどうすればよいですか？

コア構成xmlファイルに（ブートストラップアクションを介して）以下を追加しようとしました：

<property>
        <name>fs.default.name</name>
        <value>s3n://</value>
</property>

<property>
        <name>dfs.name.default</name>
        <value>s3n://</value>
</property>

しかし、私はいつも次のようなものを手に入れます：

原因：java.io.IOException：パスを解決できませんでした：com.mapr.fs.MapRFileSystem.delete（MapRFileSystem）のcom.mapr.fs.MapRFileSystem.lookupClient（MapRFileSystem.java:219）のs3n：// some_out_bucket / out .java：385）at cc.mrlda.ParseCorpus.run（ParseCorpus.java:192）at org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:65）at cc.mrlda.ParseCorpus.main（ParseCorpus。 java：675）...10以上

ここにHadoop初心者。助けてください！

4

1 に答える 1

2

上記の質問で説明した構成手順に加えて、コードを変更しました。

FileSystem fs = FileSystem.get(URI.create(outputPath), new JobConf(SomeClass.class));ここでoutputPath、S3上のリソースを指します。例：s3n://some_bucket

を使用してURI.create、S3から直接ファイルにアクセスできるようになりました。

于 2012-09-03T16:52:43.780 に答える