問題タブ [knox-amazon-s3-client]

knoxと node jsを使用して、ファイル (message.txt) を aws s3 にアップロードしようと何日も試みてきました。

署名が一致しないというエラーが引き続き発生します。

ノードjsの私のコード（アップロードが機能していなかったので、取得しようとしています）：

私はまた、テスト署名をこのような多くの異なる方法と比較するためにアマゾンを試しました: html と python バージョン

何もうまくいきませんでした。おそらくプロセスで少し迷っています...誰かが私を導くための大きな行や、javascript/node js で署名を正しく生成するためのスクリプトを教えてくれたら、とても感謝しています。

大きなファイルをAmazonS3（> 1テラバイト）にアップロードする方法を知りたい

理想的には、Webアプリのアップロードメカニズムには次のものが必要です。

1. リアルタイムプログレスバー
2. 速度統計のアップロード
3. サポートの一時停止/再開
4. コンピューターからAmazonS3に直接アップロードする
5. メモリ効率が高いため、大きなファイルをWebブラウザ経由で送信できます。

Django経由でUploadifyS3を試しました。大きなファイルをうまく処理できないように見えますが。

Githubの既存のデモアプリまたは次の言語のいずれかを使用したドキュメントについて知っている人はいますか？

• レール
• Django
• PHP
• Java

最近、アップロード用のデモアプリが見つかりませんでしたが、 KnoxS3ライブラリとnodejsについても調べました。

nodejs プロジェクトで knox を使用して Amazon s3 バケットにアップロードしようとしていますが、403 エラーを回避できません。キー、シークレット、およびバケットが適切に設定されていることを確認しました。ここでは、経験豊富な人の助けを借りることができます。

私のノードコードは次のとおりです。

}

これまでのところ、node.js、express、および knox を使用して、Amazon S3 でオブジェクトを追加/更新/削除/取得することに成功しています。物事を次のレベルに進めようとしている私は、(可能であれば) knox を使用して 2 つのことを行う方法を見つけようとしています。

1) オブジェクトの追加/更新時にサーバー側の暗号化を使用するようにオブジェクトを設定します。

2) オブジェクトの特定のバージョンを取得するか、オブジェクトのバージョンのリストを取得します。

ページのリクエストが届いたとき、たとえば、app.get("/")Amazons3から静的HTMLページを返したい場合。S3からリクエストして送信できることはわかっていますが、それは遅いようです。URLを変更せずにs3から直接ファイルを取得するようにリクエスターに指示する方法はありますか？

ありがとう。

それができない場合、s3からファイルを提供する最速の方法は何ですか？

このチュートリアルでは、最初にファイルを書き込む方法を示します

http://www.hacksparrow.com/node-js-amazon-s3-how-to-get-started.html

最初にファイルを書き込まずにファイルを送信する方法はありますか？それを書くのはひどく遅いようです。

こんにちは :) ノード アプリケーションが HTTP POST ファイルのアップロードを Amazon S3 バケットに直接ストリーミングする可能性を検討しています。

これには Formidable と Knox の使用を検討しています。

私が確信していない部分は、S3 では、送信前にファイル内の合計バイト数を知っている必要があるということです。

これを達成する唯一の方法は、HTML5 ファイル API (およびおそらく Internet Explorer の ActiveX コントロール) を使用してクライアントのファイル サイズをチェックし、これを HTTP POST 要求の一部として送信することであると考えるのは正しいでしょうか。 ?

これが私の現在のコードです。Express と knox を使用しており、異常なことはしていないと思いますs3.putFileが、400 ステータス コードは返されますが null エラーが返され、ファイルがアップロードされません。

この同じコードは、Heroku からではなく、cloud9オンライン エディター/デバッガーからでも正常に動作します。「エフェメラルファイルシステム」と関係があるのではないかと推測していますが、それは単なる推測です。ただし、 noirとweavejester の aws sdkを使用して Clojure の Heroku で s3 パススルー アップロードを動作させることができたので、ノードでも可能である必要があります。

I'm writing a small node.js application that receives a multipart POST from an HTML form and pipes the incoming data to Amazon S3. The formidable module provides the multipart parsing, exposing each part as a node Stream. The knox module handles the PUT to s3.

I'm reporting the upload progress to the browser client via socket.io, but am having difficulty getting these numbers to reflect the real progress of the node to s3 upload.

When the browser to node upload happens near instantaneously, as it does when the node process is running on the local network, the progress indicator reaches 100% immediately. If the file is large, i.e. 300MB, the progress indicator rises slowly, but still faster than our upstream bandwidth would allow. After hitting 100% progress, the client then hangs, presumably waiting for the s3 upload to finish.

I know putStream uses Node's stream.pipe method internally, but I don't understand the detail of how this really works. My assumption is that node gobbles up the incoming data as fast as it can, throwing it into memory. If the write stream can take the data fast enough, little data is kept in memory at once, since it can be written and discarded. If the write stream is slow though, as it is here, we presumably have to keep all that incoming data in memory until it can be written. Since we're listening for data events on the read stream in order to emit progress, we end up reporting the upload as going faster than it really is.

Is my understanding of this problem anywhere close to the mark? How might I go about fixing it? Do I need to get down and dirty with write, drain and pause?

restify (または express ) で REST サービス API を提供したい

• サービスの義務は、オーディオ/mpeg またはその他の
  バイナリ ファイルをサーバーに送信し、認証を検証し、
  合格した場合はファイルを Amazon s3 に送信し、s3 クライアントの
  応答ステータス コードを確認するクライアントに任せることです。 statusCode == 200 、
  何かをする

solution1 : リクエスト ストリーム パイプを使用して、knox によってファイルを amazon に配置する

解決策2：formdiableとfsを使用してサーバーのローカル一時フォルダーにファイルを事前に保存し、knoxによってファイルをAmazonに配置します

解決策 1 と解決策 2 のどちらの方法が優れているか、または他のより良い方法は?? ここで、知っておく必要のあるパフォーマンスの問題はありますか?

サーバーを knox から公式の aws-sdk に切り替えていますが、最終結果にいくつかの矛盾があります。

aws-sdk では、次の方法でgetObjectを使用してファイルを取得します。

数バイトずれているように見えるファイルを取得していますが、BeyondCompare などの 16 進エディタで比較すると、多数のバイトが「FD」に置き換えられています。これに関する洞察はありますか？