0

インターネットからデータを収集するためのクローラーがあります。EC2 スポットは、私たちのアプリケーションにとって非常に安価なソリューションです。

この場合、次の手順でクローラーをセットアップできます。

  1. AMAZON クイック スタート テンプレートから ami を起動する
  2. 依存ライブラリをインストールする
  3. クローラー アプリをインスタンスに送信する
  4. クローラーのランチャーをセットアップし、起動完了後に機能させます
  5. インスタンスを ami にする

ただし、クローラーを更新する必要がある場合は、手順 3 を繰り返す必要があります。これは、オート スケーリングの「ami-id」やその他のスポット インスタンス リクエスト スクリプトなど、他の設定に影響を与えます。

「ami」でのアプリケーション管理は展開の問題であるため、できるだけ簡単にするための提案が必要です。さて、それを管理する別の方法があります。ソース コード管理ツールを使用しており、展開手順は次のようになります。

  • 3 ソース コード リポジトリからの git clone。
  • 3.1 ソースからアプリをコンパイルする
  • 3.2 以前のビルドを削除する
  • 3.3 最新のビルドをインストールする
  • 4 ランチャーは、クローラーをウェイクアップする前に、常に最新のリリースからクローラーを再構築します。

新しいメソッドは ami-id の変更を防ぎますが、毎回ソース コードをチェックアウトする必要があります。最後に、ソースの取得に時間がかかります (ソースは日々増加しています)

ami でアーティファクトをどのように管理していますか? ソースからビルドすることが常に最良の選択であるとは限りません。いくつかの展開の問題を解決するだけで、クローラー インスタンスが実行された後の更新に関する対処はありません。

4

1 に答える 1

1

クローラーが 1 時間ごとに更新されていない場合は、以前のアイデアと新しいアイデアの両方を使用する必要があると思います。そのためには、現在のビルドが最新であるかどうかをサーバーから確認してからクロールするwrite some scriptスクリプトを作成します。それより古い場合、これにより、クローラーを頻繁に変更しない場合、効率的なパフォーマンスを得ることができます。go normalmove to the GIT Clone stuff

上記の場合、実際にはほとんどの場合再構築を減らすことになります。なぜなら、再構築プロセスを説明するとき、ほとんど理由もなくこれらの手順を実行する必要があるからです。

これがお役に立てば幸いです

于 2012-07-09T07:23:19.823 に答える