5

私はこれまでにこの問題を何度も繰り返し、さまざまな例を検索し、すべてのドキュメントを調べてきました。

Plupload ( http://www.plupload.com/ ) と AWS S3 ダイレクト ポスト メソッド ( http://aws.amazon.com/articles/1434 ) を組み合わせようとしています。ただし、送信用のポリシーと署名を作成する方法に問題があると思います。フォームを送信すると、サーバーからの応答が得られず、サーバーへの接続がリセットされます。

例でpythonコードを使用しようとしました:

import base64
import hmac, sha

policy = base64.b64encode(policy_document)

signature = base64.b64encode(
hmac.new(aws_secret_key, policy, sha).digest())

また、Python で最新の hashlib ライブラリを使用しようとしました。ポリシーと署名を構築するためにどのような方法を使用しても、ここで生成された値とは常に異なる値が得られます。

http://s3.amazonaws.com/doc/s3-example-code/post/post_sample.html

私はこの質問を読みました:

Plupload を Amazon S3 に直接アップロードするにはどうすればよいですか?

しかし、提供された例は非常に複雑で、正確に実装することができませんでした。

私の最近の試みは、boto ライブラリの一部を使用することでした。

http://boto.cloudhackers.com/ref/s3.html#module-boto.s3.connection

しかし、 S3Commection.build_post_form_args メソッドを使用してもうまくいきませんでした。

Pythonを使用して投稿フォームを作成する方法の適切な例を誰かが提供できれば、非常に感謝しています。接続が常にリセットされる理由についてのいくつかの簡単な洞察でもいいでしょう.

いくつかの注意事項:

可能であれば、hashlib を使用したいと思います。Amazon から XML 応答を取得したい (おそらく "success_action_status = '201'" がこれを行います) 大きなサイズのファイルをアップロードできる必要があり、最大サイズは最大 2GB です。

最後に、これを Chrome で実行すると、アップロードの進行状況が表示され、通常、アップロードは約 37% 失敗します。

4

4 に答える 4

5

ネイサンの答えは、私が始めるのに役立ちました。現在機能している2つのソリューションを含めました。

最初のソリューションでは、プレーンな Python を使用します。2 つ目は boto を使用します。

最初に boto を機能させようとしましたが、エラーが発生し続けました。そこで、Amazon ruby​​ のドキュメントに戻り、S3 で boto を使用せずに python を使用してファイルを受け入れるようにしました。( HTML POST を使用した S3 へのブラウザアップロード)

何が起こっているのかを理解した後、エラーを修正し、より簡単なソリューションである boto を使用することができました。

ソリューション 1 を含めるのは、Python を使用してポリシー ドキュメントと署名をセットアップする方法を明示的に示しているためです。

私の目標は、アップロードが成功した後にユーザーに表示される「成功」ページとともに、htmlアップロードページを動的ページとして作成することでした。ソリューション 1 はフォーム アップロード ページの動的な作成を示し、ソリューション 2 はアップロード フォーム ページと成功ページの両方の作成を示しています。

解決策 1:

import base64
import hmac, hashlib

###### EDIT ONLY THE FOLLOWING ITEMS ######

DEBUG = 1
AWS_SECRET_KEY = "MySecretKey"
AWS_ACCESS_KEY = "MyAccessKey"
HTML_NAME = "S3PostForm.html"
EXPIRE_DATE = "2015-01-01T00:00:00Z" # Jan 1, 2015 gmt
FILE_TO_UPLOAD = "${filename}"
BUCKET = "media.mysite.com"
KEY = ""
ACL = "public-read" # or "private"
SUCCESS = "http://media.mysite.com/success.html"
CONTENT_TYPE = ""
CONTENT_LENGTH = 1024**3 # One gigabyte
HTTP_OR_HTTPS = "http" # Or "https" for better security
PAGE_TITLE = "My Html Upload to S3 Form"
ACTION = "%s://%s.s3.amazonaws.com/" % (HTTP_OR_HTTPS, BUCKET)

###### DON'T EDIT FROM HERE ON DOWN ######

policy_document_data = {
"expire": EXPIRE_DATE,
"bucket_name": BUCKET,
"key_name": KEY,
"acl_name": ACL,
"success_redirect": SUCCESS,
"content_name": CONTENT_TYPE,
"content_length": CONTENT_LENGTH,
}

policy_document = """
{"expiration": "%(expire)s",
  "conditions": [ 
    {"bucket": "%(bucket_name)s"}, 
    ["starts-with", "$key", "%(key_name)s"],
    {"acl": "%(acl_name)s"},
    {"success_action_redirect": "%(success_redirect)s"},
    ["starts-with", "$Content-Type", "%(content_name)s"],
    ["content-length-range", 0, %(content_length)d]
  ]
}
""" % policy_document_data

policy = base64.b64encode(policy_document)
signature = base64.b64encode(hmac.new(AWS_SECRET_KEY, policy, hashlib.sha1).digest())

html_page_data = {
"page_title": PAGE_TITLE,
"action_name": ACTION,
"filename": FILE_TO_UPLOAD,
"access_name": AWS_ACCESS_KEY,
"acl_name": ACL,
"redirect_name": SUCCESS,
"policy_name": policy,
"sig_name": signature,
"content_name": CONTENT_TYPE,
}

html_page = """
<html> 
 <head>
  <title>%(page_title)s</title> 
  <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
 </head>
<body>
 <form action="%(action_name)s" method="post" enctype="multipart/form-data">
  <input type="hidden" name="key" value="%(filename)s">
  <input type="hidden" name="AWSAccessKeyId" value="%(access_name)s">
  <input type="hidden" name="acl" value="%(acl_name)s">
  <input type="hidden" name="success_action_redirect" value="%(redirect_name)s">
  <input type="hidden" name="policy" value="%(policy_name)s">
  <input type="hidden" name="signature" value="%(sig_name)s">
  <input type="hidden" name="Content-Type" value="%(content_name)s">

  <!-- Include any additional input fields here -->

  Browse to locate the file to upload:<br \> <br \>

  <input name="file" type="file"><br> <br \>
  <input type="submit" value="Upload File to S3"> 
 </form> 
</body>
</html>
""" % html_page_data

with open(HTML_NAME, "wb") as f:
    f.write(html_page)

###### Dump output if testing ######
if DEBUG:

    if 1: # Set true if not using the LEO editor
        class G:
            def es(self, data):print(data)
        g = G()

    items = [
    "",
    "",
    "policy_document: %s" % policy_document,
    "ploicy: %s" % policy,
    "signature: %s" % signature,
    "",
    "",
    ]
    for item in items:
        g.es(item)

解決策 2:

from boto.s3 import connection

###### EDIT ONLY THE FOLLOWING ITEMS ######

DEBUG = 1
AWS_SECRET_KEY = "MySecretKey"
AWS_ACCESS_KEY = "MyAccessKey"
HTML_NAME = "S3PostForm.html"
SUCCESS_NAME = "success.html"
EXPIRES = 60*60*24*356 # seconds = 1 year
BUCKET = "media.mysite.com"
KEY = "${filename}" # will match file entered by user
ACL = "public-read" # or "private"
SUCCESS = "http://media.mysite.com/success.html"
CONTENT_TYPE = "" # seems to work this way
CONTENT_LENGTH = 1024**3 # One gigabyte
HTTP_OR_HTTPS = "http" # Or https for better security
PAGE_TITLE = "My Html Upload to S3 Form"

###### DON'T EDIT FROM HERE ON DOWN ######

conn = connection.S3Connection(AWS_ACCESS_KEY,AWS_SECRET_KEY)
args = conn.build_post_form_args(
    BUCKET,
    KEY,
    expires_in=EXPIRES,
    acl=ACL,
    success_action_redirect=SUCCESS,
    max_content_length=CONTENT_LENGTH,
    http_method=HTTP_OR_HTTPS,
    fields=None,
    conditions=None,
    storage_class='STANDARD',
    server_side_encryption=None,
    )

form_fields = ""
line = '  <input type="hidden" name="%s" value="%s" >\n'
for item in args['fields']:
    new_line = line % (item["name"], item["value"])
    form_fields += new_line

html_page_data = {
"page_title": PAGE_TITLE,
"action": args["action"],
"input_fields": form_fields,
}

html_page = """
<html> 
 <head>
  <title>%(page_title)s</title> 
  <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
 </head>
<body>
 <form action="%(action)s" method="post" enctype="multipart/form-data" >
%(input_fields)s
  <!-- Include any additional input fields here -->

  Browse to locate the file to upload:<br \> <br \>

  <input name="file" type="file"><br> <br \>
  <input type="submit" value="Upload File to S3"> 
 </form> 
</body>
</html>
""" % html_page_data

with open(HTML_NAME, "wb") as f:
    f.write(html_page)

success_page = """
<html>
  <head>
    <title>S3 POST Success Page</title>
      <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
      <script src="jquery.js"></script>
      <script src="purl.js"></script>
<!--

    Amazon S3 passes three data items in the url of this page if
        the upload was successful:
        bucket = bucket name
        key = file name upload to the bucket
        etag = hash of file

    The following script parses these values and puts them in
    the page to be displayed.

-->

<script type="text/javascript">
var pname,url,val,params=["bucket","key","etag"];
$(document).ready(function()
{
  url = $.url();
  for (param in params)
  {
    pname = params[param];
    val = url.param(pname);
    if(typeof val != 'undefined')
      document.getElementById(pname).value = val;
  }
});
</script>

  </head>
  <body>
      <div style="margin:0 auto;text-align:center;">
      <p>Congratulations!</p>
      <p>You have successfully uploaded the file.</p>
        <form action="#" method="get"
          >Location:
        <br />
          <input type="text" name="bucket" id="bucket" />
        <br />File Name:
        <br />
          <input type="text" name="key" id="key" />
        <br />Hash:
        <br />
          <input type="text" name="etag" id="etag" />
      </form>
    </div>
  </body>
</html>
"""

with open(SUCCESS_NAME, "wb") as f:
    f.write(success_page)

###### Dump output if testing ######
if DEBUG:

    if 1: # Set true if not using the LEO editor
        class G:
            def es(self, data):print(data)
        g = G()

    g.es("conn = %s" % conn)
    for key in args.keys():
        if key is not "fields":
            g.es("%s: %s" % (key, args[key]))
            continue
        for item in args['fields']:
            g.es(item)
于 2013-12-01T23:24:25.973 に答える
3

Boto を使用してみましたが、必要なすべてのヘッダーを挿入できないことがわかりました。以下に、ポリシー、署名、および投稿フォームの値のディクショナリを生成するために私が行っていることを示します。

x-amz-meta-* タグはすべてカスタム ヘッダー プロパティであり、必要ないことに注意してください。また、フォームに含まれるほとんどすべてのものは、エンコードおよび署名されるポリシーに含まれている必要があることに注意してください。

def generate_post_form(bucket_name, key, post_key, file_id, file_name, content_type):
  import hmac
  from hashlib import sha1
  from django.conf import settings
  policy = """{"expiration": "%(expires)s","conditions": [{"bucket":"%(bucket)s"},["eq","$key","%(key)s"],{"acl":"private"},{"x-amz-meta-content_type":"%(content_type)s"},{"x-amz-meta-file_name":"%(file_name)s"},{"x-amz-meta-post_key":"%(post_key)s"},{"x-amz-meta-file_id":"%(file_id)s"},{"success_action_status":"200"}]}"""
  policy = policy%{
    "expires":(datetime.utcnow()+settings.TIMEOUT).strftime("%Y-%m-%dT%H:%M:%SZ"), # This has to be formatted this way
    "bucket": bucket_name, # the name of your bucket
    "key": key, # this is the S3 key where the posted file will be stored
    "post_key": post_key, # custom properties begin here
    "file_id":file_id,
    "file_name": file_name,
    "content_type": content_type,
  }
  encoded = policy.encode('utf-8').encode('base64').replace("\n","") # Here we base64 encode a UTF-8 version of our policy.  Make sure there are no new lines, Amazon doesn't like them.
  return ("%s://%s.s3.amazonaws.com/"%(settings.HTTP_CONNECTION_TYPE, self.bucket_name),
          {"policy":encoded,
           "signature":hmac.new(settings.AWS_SECRET_KEY,encoded,sha1).digest().encode("base64").replace("\n",""), # Generate the policy signature using our Amazon Secret Key
           "key": key,
           "AWSAccessKeyId": settings.AWS_ACCESS_KEY, # Obviously the Amazon Access Key
           "acl":"private",
           "x-amz-meta-post_key":post_key,
           "x-amz-meta-file_id":file_id,
           "x-amz-meta-file_name": file_name,
           "x-amz-meta-content_type": content_type,
           "success_action_status":"200",
          })

返されたタプルを使用して、生成された S3 url に投稿するフォームを生成できます。このフォームには、ディクショナリからのすべてのキーと値のペアが非表示フィールドとして含まれ、実際のファイル入力フィールドには名前/ID が「file」である必要があります。

例として役立つことを願っています。

于 2011-08-24T04:36:29.007 に答える
1

私は、ほぼ同じ正確なコードを使用して、このまったく同じ問題に何日も苦労してきました。( S3 投稿の Python 生成署名を参照してください) White Box Dev のコードに従ってポリシーをエンコードしようとしましたが、AWS が示唆するものと同じものを思いつきませんでした。結局諦めて使いました…

http://s3.amazonaws.com/doc/s3-example-code/post/post_sample.html

...そして、返された値を HTML フォームに挿入しました。よく働く。

@氏。Oodles: aws_secret_key を別のファイルに保存している場合は、bash コマンド ls -al を使用して、署名を生成する前にバイト数を確認してください。長さは 40 バイトである必要があります。White Box Dev が指摘しているように、AWS は \n を好まないため、保存時にこの隠し文字 (またはキャリッジ リターンまたは ^M) を aws_secret_key 文字列にまとめている可能性があります。したがって、41 バイトの長さになります。 . .replace("\n", "") または .rstrip() を試して、スクリプトに読み取った後、それを取り除くことができます。.encode("utf-8") も機能する場合があります。しかし、それらのどれも私にとってはうまくいきませんでした。Windows または Unix で Python を実行している場合は不思議です... emacs を使用して、エディターによって \n が自動的に挿入されずに文字列を保存することもできます。

于 2012-01-31T01:24:41.640 に答える
0

https://github.com/burgalon/plupload-s3mixinをチェックしてみてください これはPLUPLOADと直接S3アップロードを組み合わせたものです

于 2011-09-05T08:39:05.320 に答える