10

他の誰かが所有している S3 の次のフォルダーにあるファイルにアクセスするにはどうすればよいですか

s3n://elasticmapreduce/samples/wordcount/input

4

4 に答える 4

5

s3n://elasticmapreduce/samples/wordcount/input のファイルは公開されており、Amazon によってサンプル ワード カウント Hadoop プログラムへの入力として利用できるようになっています。それらを取得する最良の方法は、

  1. アマゾン ウェブ サービス コンソールから新しい Amazon Elastic MapReduce ジョブ フローを開始し (どちらでも構いません)、Keep Alive オプションを使用してジョブを存続させます。
  2. EC2 マシンが起動したら、Amazon Web Services コンソールから EC2 上のインスタンスを見つけます
  3. たとえば、hadoop ユーザーを使用して、実行中の EC2 インスタンスの 1 つに ssh します。 ssh -i keypair.pem hadoop@ec2-IPADDRESS.compute-1.amazonaws.com
  4. を使用して、必要なファイルを取得します。hadoop dfs -copyToLocal s3://elasticmapreduce/samples/wordcount/input/0002 .
  5. ファイルをローカル システムに sftp します
于 2013-03-02T06:05:32.447 に答える
4

ここで wordSplitter.py にアクセスできます。

https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/wordSplitter.py

ここから入力ファイルにアクセスできます。

https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0012
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0011
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0010
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0009
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0008
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0007
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0006
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0005
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0004
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0003
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0002
https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/input/0001
于 2014-07-27T02:22:12.063 に答える
3

フォルダー (フォルダー内のファイルである可能性が最も高い) の所有者は、匿名の読者がアクセスできるようにしておく必要があります。その場合、 s3n://x/y... は http://s3.amazonaws.com/x/y ... または http://x.s3.amazonaws.com/yに変換されます。 ..

x はバケットの名前です。y... はバケット内のパスです。

ファイルが存在することを確認したい場合、たとえば名前のつづりが間違っていると思われる場合は、ブラウザで http://s3.amazonaws.com/xを開く と、S3 である「ファイル」を説明する XML が表示されます。オブジェクト、利用可能。これを試してください: http://s3.amazonaws.com/elasticmapreduce

私はこれを試しましたが、あなたが望むパスは公開されていないようです。AWS EBS ドキュメントでは、「開始」の例の 1 つで s3://elasticmapreduce/samples/wordcount/input が引用されています。ただし、s3 は s3n とは異なるため、入力は EMR では使用できますが、HTTP アクセスでは使用できない場合があります。

于 2012-08-30T12:23:14.460 に答える