すべての iOS アプリのメタデータを毎日ダウンロードする必要があります。iTunes Web サイトをクロールし、iTunes 検索 API を使用して情報を抽出する予定です。70 万以上のアプリがあるため、これを効率的に行う方法が必要です。
1 つのアプローチは、EC2 で多数のスクリプトをセットアップし、それらを並行して実行することです。この道に着手する前に、人々が同様のタスクを達成するために使用した 80legs のようなサービスはありますか? 基本的に、何十万ものページを非常に高速にクロールする (または多数の API 呼び出しを行う) のに役立つ何かが必要です。
Apple のEnterprise Partner Feed (EPF)を調べることをお勧めします。大量の EC2 マシンを入手したり、データをスクレイピングするためのクローリング インフラストラクチャを構築したりするよりも、おそらくはるかに安価です。EFP の説明自体から:
Enterprise Partner Feed は、iTunes および App Store からの完全なメタデータ セットのデータ フィードです。アフィリエイト パートナーは、iTunes および App Store カタログの側面を Web サイトまたはアプリに完全に組み込むことができます。
EPFには2つのフィードモードがあります
iTunes は、次の 2 つのモードで EPF データを生成します。
フルモード
インクリメンタルモード完全なエクスポートは毎週生成され、生成日の時点での iTunes メタデータの完全なスナップショットが含まれています。増分エクスポートは毎日生成され、最後の完全エクスポート以降に追加または変更されたレコードが含まれています。増分エクスポートは、基になるフル エクスポートを基準にして配置されます。
明らかに、データを入力する場合は完全モードを使用し、毎日の更新には増分モードを使用します。
幸運を。