さまざまなサード パーティの API Web サービスから頻繁に大量のデータを取得し、ステージング エリア (これは私が今決定したいことです) に保存し、必要に応じて 1 つずつアプリケーションに移動します。データベース。
上記を実現するために Azure プラットフォームを使用できるか知りたいと思いましたか? このタスクに Azure プラットフォームを使用するのはどの程度良いですか?
プルするデータが大量で、プルの頻度が高い場合、つまり、2,000 人の異なるユーザーに対して 30 分ごとまたは 1 時間ごとの場合はどうなりますか?
これが可能であれば、帯域幅、データ ストレージ、サーバー機能などは私にとって心配することではなく、©Microsoft. そして明らかに、必要なときにいつでもデータにアクセスできる必要があります。
Windows サーバーに実装する必要がある場合は、Windows サービスを使用してこれを行うことを知っています。しかし、それが可能である場合、Windows Azure Platform でどのように行うことができるのかわかりません。
Rinatが述べたように、Lokadのソリューションを使用できます。自分で行うことを選択した場合は、ワーカーロールで時限タスクを実行できます。スリープ状態のスレッドを生成し、30分ごとにウェイクアップしてタスクを実行します。次に、問題のWebサービス（またはWebサービスごとに1つのスレッド？）にアクセスして、データをフェッチできます。これは、SQL Azureの数分の1のコスト（GBあたり0.15）であるAzure Table Storageに一時的に保存してから、オンデマンドでTable Storageから簡単に読み取り、SQLAzureに転送できます。
サービスをホストし、ストレージとSQL Azureが同じデータセンターにあると仮定すると（アフィニティを適切に設定することにより）、Webサービスからデータをプルするときに帯域幅に対してのみ料金を支払います。テーブルストレージから取得したり、SQLAzureに挿入したりするための帯域幅料金はありません。
Windows Azure では、通常、クラウド処理をホストするために使用されるワーカー ロールです。タスクを達成するには、このメッセージング/スケジューリング インフラストラクチャを自分で実装するか、Azure 用のLokad.CloudやLokad.CQRSオープン ソース プロジェクトなどを使用する必要があります。
数十万のシリーズの分散 BI 処理に Lokad.Cloud を使用し、Lokad.CQRS を使用すると、何百万もの製品をスケジュールどおりに確実に取得して同期できます。
両方のプロジェクトにサンプル、ドキュメント、およびコミュニティがあり、すぐに使用を開始できます。