問題タブ [blobstore]

私は、GAEの制限を超えるフォームからアップロードされたいくつかの大きな（<100 MB）XMLファイルを処理する必要があるGoogle App Engineアプリに取り組んでいます-ファイルのアップロードに30秒以上かかるか、 10MBのリクエストサイズ。

私が想定している現在の解決策は、ファイルをblobstoreにアップロードしてから、解析のためにアプリケーションに（一度に1 MBずつ）取り込むことです。これは、リクエストの30秒の制限をはるかに超える可能性もあるため、30秒のバーストでタスクキューを介して処理しなければならない可能性があるため、大きなXMLドキュメントをチャンクで処理するための優れた方法があるかどうか疑問に思います。

私は現在、プロジェクトの他の部分にBeautifulSoupを使用しており、ミニダムから切り替えています。GAEでうまく機能するチャンクでデータを処理する方法はありますか？

アップデート

この質問は元々、プログラムによるファイル作成がサポートされていなかったときに尋ねられました（たとえば、URLを介して）。これは変更されました。http ：//code.google.com/appengine/docs/java/blobstore/overview.html#Writing_Files_to_the_Blobstoreを参照してください。

画像を取得するためにいくつかの異なるAPIにアクセスしています。私のアプリケーションはGAE+Pythonであり、Blobstoreを使用してこれらの画像を保存したいと思います。GAE Blobstoreのドキュメントには、URLから直接ではなく、フォームを介して画像をBlobstoreに保存する方法の明確な例が記載されています。

http://code.google.com/intl/iw/appengine/docs/python/blobstore/overview.html#Writing_Files_to_the_Blobstore

http://api.website.com/images/foo.jpgをBlobstoreに保存する方法を知りたいです。

App Engine で blobstore と imagesService を使用しています。imagesService.getServingUrl(blobKey) から取得した URL がどれくらい続くか疑問に思っています。これを使用してユーザーのプロフィール写真を保存している場合、この URL をユーザーに保存できますか?それとも、写真が必要になるたびに BlobKey を保存して、servingUrl を取得する必要がありますか?

httpリクエストを使用してblobstoreにファイルを送信しようとしています。

まず、createUploadUrlを呼び出してアップロードURLを取得するボタンを作成しました。

それから私はクライアントを作りました：

しかし、私には2つの問題があります。

• 開発モードの場合：クライアントを実行すると、「最初にset * BlobStorage（）のいずれかを呼び出す必要があります」と応答します。

• アプリをアップロードした場合：URLは呼び出すたびに変わるため、クライアントを実行すると「HTTP /1.1500内部サーバーエラー」と応答します。

私が間違っているのは何ですか？

現在、オフライン処理（ユーザーのデータをバックアップ）を実行し、10〜100MB付近のファイルを生成するGAEアプリがあります。このファイルをユーザーに提供する最善の方法がわかりません。私が検討している2つのオプションは次のとおりです。

1. オフライン処理コードにコードを追加して、それをフォームアップロードとしてblobストアに「スプーフィング」し、通常のblobstoreプロセスを通過してファイルを提供します。

2. オフライン処理コードでファイルをGAEのどこかに保存し、そこから提供します。

私が見落としているはるかに良いアプローチはありますか？これはGAEにはあまり適していない機能だと思います。データストアにdb.TextまたはDd.Blobとして保存することを考えていましたが、1MBの制限があります。

任意の入力をいただければ幸いです、

フォーム内の複数のファイルをBlobStoreにアップロードしようとしています。

形：

次に、アップロードされたファイルごとにBlobInfoオブジェクトをフェッチしようとしています。

奇妙な振る舞いが見られます。どちらのファイルもBlobStoreに組み込まれていますが、キーを取得して別のエンティティに保存する方法がわかりません。上記のコードは、image_blob_infoのキーを取得できますが、thumb_blob_infoは取得できません。get_uploadsの使い方がわかりません。フォームを介して複数のファイルを渡し、名前でフェッチして、別のエンティティの適切なBlobReferencePropertiesに保存できるようにします。

blob およびその他のフィールドに関する情報をモデル レコードに保存しながら、ファイルを blobstore にアップロードするための最適なワークフローは何ですか?

たとえば、フォームをブロブストアのアップロード URL (blobstore.create_upload_url) に送信し、フォームをクリーンアップし、エラーが発生した場合はリダイレクトし、そうでない場合は保存してリダイレクトする必要がありますか?

エラーを返す最良の方法は何ですか? 変数を取得しますか? モデルを使用してフォームエラーを保存し、フォームエラーモデルインスタンスに基づいてリダイレクトしようとしましたが、面倒でした。何か案は？

簡単にすべきことを行う方法を理解するのに苦労しています。

ここまではいいんじゃない？次に、ファイルを表示します。

私は何が欠けていますか？spam.egg は BlobKey です。

appcfg.pyを使用すると、データストアのインポートとエクスポートが非常に簡単になります。

しかし、ブロブストアはどうですか？ブロブストアをインポート/エクスポートする同様の方法はありますか？そうでない場合、彼らはそうするためのいくつかの図書館ですか？

目標は、blobstoreをAppengineアプリから別のAppengineアプリに移動することです

ありがとう！

「ブロブストアに保存されたデータ」が何を指しているのかを理解しようとしています。私のアプリには、(データストアではなく) ブロブストアにアップロードされた約 4 GB の画像があります。しかし、appengine でクォータの詳細を見ると、使用されているクォータが「保存されたデータの合計」であることがわかります。代わりに「Blobstore Stored Data」が使い果たされることを期待していました (私の場合はまだ 0% です)。なぜそうなのですか？