5

Google App Engine にデプロイされた Python Web アプリケーションがあります。

Amazon S3 に保存されているログ ファイルを取得して、Google Cloud Storage にロードする必要があります。Google Cloud Storage に入ったら、いくつかの変換を実行し、最終的に分析のためにデータを BigQuery にインポートする必要がある場合があります。

boto は gsutil の内部にあり、プロジェクトで boto を使用したいので、ある種の概念実証として gsutil を使用してみました。これはうまくいきませんでした。

誰かが 2 つのクラウド間でファイルを直接転送できたかどうか知りたいです。可能であれば、簡単な例を見たいと思います。最終的に、このタスクは、GAE 上でコードを実行することによって達成する必要があります。

4

3 に答える 3

9

このスレッドに従って、gsutil を使用して S3 から Google Cloud Storage にデータをストリーミングできますが、すべてのバイトは、S3 からローカル コンピュータへ、次にコンピュータから GCS への 2 つのホップを必要とします。ただし、App Engine を使用しているため、S3 からプルして GCS にデポジットできるはずです。App Engine が仲介者であることを除いて、上記と同じ進行です。つまり、すべてのバイトが S3 からアプリに移動し、次に GCS に移動します。プル側には boto を、プッシュ側にはGoogle Cloud Storage APIを使用できます。

于 2012-11-28T15:57:22.920 に答える
3

Google では、バケット全体を S3 からストレージ サービスにインポートできます。

https://cloud.google.com/storage/transfer/getting-started

ソース バケットにファイル フィルタを設定して、必要なファイルまたは「ディレクトリ」(つまり、特定のプレフィックスを持つもの) のみをインポートできます。

于 2015-12-02T12:13:46.953 に答える
1

競合するクラウド プロバイダーにデータを転送するための API を提供するクラウド プロバイダーは知りません。クラウド プロバイダーには、競合他社へのデータ移行を支援するインセンティブはありません。ほとんどの場合、データを中間マシンに読み取ってから、Google に書き込む必要があります。

于 2012-11-28T14:54:58.433 に答える