0

通常のクラウド ストレージに大量の大きなファイルがあり、mapreduce ライブラリを使用してさらに処理するためにプログラムでブロブストアに移動したいと考えています。(BlobstoreLineInputReader はありますが、Datastore バージョンではないため。) gs ファイルの URL を作成して、ブロブストアにそれ自体を読み取らせようとしましたが、バッファリングされた読み取りも試しましたが、大きなファイルの場合はまだヒットしますメモリエラー。(追加モードで開き、最後にのみファイナライズすることで、ブロブストア ファイルの期限超過エラー (60 秒以上) を回避しています。) データストアとブロブストアの両方が同じアプリケーションコンテキストですが、見つかりませんでした。

4

1 に答える 1

4

ここでクラウド ストレージとデータストアをほぼ同じ意味で言及しているため、混乱しています。

データが Google Cloud ストレージにある場合は、ファイルの BlobKey を作成し、現在の Blobstore API で使用できます。

すなわち

blobkey = blobstore.create_gs_key('/gs/my_bucket/my_object').

ファイルがデータストアにある場合は、ファイル API を使用してファイルを Cloud Storage/Blobstore に移動し、そこから処理する必要があります。

于 2012-08-10T05:01:00.977 に答える