AWS S3 (またはここで役立つ他の AWS サービス) でログ ファイルを作成する必要があります。私の知る限り、S3 の既存のログ ファイルに行を追加する方法はありません。つまり、新しいメッセージが届くたびにログ全体を取得して再送信するか、メッセージごとに新しいオブジェクトを作成する必要があります。後者のオプションは、データを取得するときに複雑です。
多くのログ メッセージがあり、それらを失わないことが重要であるため、それらをサーバー メモリにバッファリングして、たまに S3 に送信するオプションはありません。
どの AWS サービスが私の最良の選択肢でしょうか (コスト削減の観点からも)。
あなたが探しているのは EBS ( Elastic Block Store ) と呼ばれるものです。
EBS ドライブを任意のサーバーに接続して、そこでログを開始できます。サーバーが停止した場合でも、EBS ディスクは残っているので、後でデータを確認できます。
さらに良いのは、(EBS ドライブを使用して) 中央の syslog サーバーを作成し、すべての (ステートレス) アプリ サーバーがそこにログを送信するようにすることです。
EBS ドライブがいっぱいになったら、日/週などを S3 ログにアーカイブします。これにより、かなり大きなファイルを S3 に保存できます (必要に応じて圧縮することもできます)。
AWS SimpleDB はあなたが望むことをします:
http://aws.amazon.com/simpledb/usecases_logging/
Amazon SimpleDB を使用すると、本番データベースの実行に必要な作業を完全にオフロードできるため、多くの開発者は、条件やイベント、ステータスの更新、定期的なアクティビティ、ワークフロー プロセス、またはデバイスとアプリケーションに関する情報をログに記録するための理想的でロータッチなデータ ストアであると考えています。州。Amazon SimpleDB を使用すると、これらのデータ ログを費用対効果の高い方法で「設定して忘れる」ことができ、次のようなさまざまな目的に使用できます。
監視または追跡 メータリング ビジネス分析のトレンド 監査 アーカイブまたは規制の遵守 アプリケーションの例には次のものがあります。
サーバーログを一元的に保存して、実行中の各サーバーで消費するスペースを削減する 後で分析するために、運用メトリックまたは進行中のパフォーマンステストの結果をログに記録する アプリケーションまたはネットワークデバイスのアクセスエントリまたは構成変更を監査する 環境条件 (温度、圧力レベル、湿度) をキャプチャして監視するなど) さまざまな場所で、特定の条件のアラートをプログラムする ワークフロー内のアクティビティのオブジェクトまたはプロセス ステータスに関する地理位置情報をログに記録および追跡する Amazon SimpleDB の複数の属性により、データ ログの魅力的なデータ ストアになります。
高可用性を備えた中央 – データ ログが以前は複数のデバイス/オブジェクト、アプリケーション、またはプロセス サイロにローカルに閉じ込められていた場合、クラウド内の 1 か所で中央からデータにアクセスできるという利点を享受できます。さらに、Amazon SimpleDB はデータを自動的かつ地理的に冗長にレプリケートして、高可用性を確保します。これは、集中型のオンプレミス ソリューションとは異なり、Amazon SimpleDB では単一障害点を作成せず、データが必要なときにそこにあることを意味します。すべてのデータは、Web サービス リクエストを介して 1 つのソリューションで保存でき、任意のデバイスからアクセスできます。ゼロ管理 – シンプルな Web サービス要求でデータ項目を保存し、Amazon Web Services が残りを処理します。
費用対効果の高い – Amazon SimpleDB は、データ ログの保存とクエリに安価な料金を請求します。消費したリソースに対してのみ料金が発生するため、独自のキャパシティ プランニングを行ったり、データベースの負荷を心配したりする必要はありません。このサービスは、要求量の増減に応じて単純に応答し、実際に消費されたリソースに対してのみ課金されます。Amazon Si の詳細については、こちらをご覧ください。
現時点では、AWS にはロギングのための優れたソリューションはありませんが、ログを収集して整理するクラウド サービスが他にもいくつか市場に出回っています ( papertrailapp.comやloggly.comなど) 。
これを行う最も簡単な方法は、ディスクにログを記録してから、適切な間隔でログをローテーションして送信することです。
スポット インスタンスまたはインスタンス バッキング インスタンスの場合、これはもう少し複雑になる可能性があります。