問題タブ [amazon-cloudwatchlogs]

サーバーの 1 つで cloudwatch をセットアップしようとすると、サーバーの IP アドレスにログ ストリーム名を追加できません。

例: IP-ADDR_myapplicationlog。

上記を達成するために{ip_address}_myapplicationlogを試しましたが、これは実際の ip_address ではない 127.0.1.1 を返します。AWS コンソールに表示されるログ ストリーム ファイル名は 127.0.1.1_myApplicationLog です。

{hostname} は期待どおりに動作しますが、IP アドレスを取得できません。以下に構成を添付: 構成 スナップショット

API Gateway ページの設定に移動し、IAM ロールを追加すると、手動で実行できます ( https://console.aws.amazon.com/apigateway/home?region=us-east-1#/settings )。しかし、Python sdk に使用する API がわかりません。

私は AWS Cloudwatch ダッシュボード機能がとても気に入っていますが、AWS を知らないかもしれない社内の他の人にもわかるように可視性を高めることができれば、はるかに便利です. AWS ウェブサイト以外で表示する方法はありますか?

ログが CloudWatch に送信されておりcloud-init.log、メトリクス フィルターを作成して、報告された Cloud Init の実行にかかった時間を抽出したいと考えています。

サンプル ログ エントリは次のようになります。

そして、抽出したい値は次のとおりです。295.097

took [number] secondsはこの行だけに固有であるため、非常に簡単に見えます。メトリック フィルター構文に関するこのガイドは、JSON ログから値を抽出するための例のみを示しているようで、この公式の例のリストはそれをカバーしていません。

ドキュメントに基づいて、私は次のようなものを考え出しました：

うまくいくでしょうが、私はあまり運がありませんでした。

どんな助けでも本当に感謝します!

ログはキー値形式です。これらのキーと値のペアは、ログごとに変わる可能性があります。それを分析したい..構造化されていないので、dynamodbに入れる必要がありますが、分析にはredshiftの方が優れています。また、すべてのキー値を redshift に永続化する必要はないかもしれませんが、これはオプションです。私が考えていたいくつかのオプション：

1. ログを S3 に入れます。次に、copy コマンドを使用します。しかし、コピーは json または csv しか受け取らないため、 COPY コマンドでキー値を JSON 形式に変換する方法が見つかりませんでした。
2. Kinesis Streamを使用して、ストリームでログファイルを取得します。しかし、これらのログ ファイルを使用する最善の方法は何でしょうか? Lambda または Kinesis クライアント ライブラリを介して! 私が考えていたオプションの 1 つは、Kinesis エージェント フォーマッターを使用してファイルを JSON にフォーマットすることでしたが、それはあまり柔軟ではありませんでした。そしてその後なんと！
3. ログファイルを cloudwatch ログに入れます! しかし、それをどのように消費するか

Aws のドキュメントを何時間も掘り下げましたが、Aws クラウド ウォッチ ログに単純なもの (文字列など) をプログラムで書き込む方法を示す ac# 'hello world' タイプのサンプルが見つかりません。おそらく私は適切な場所を探していませんが、Amazon の SDK ドキュメントとコード サンプルが不足しているようです。必要な (おそらく) 10 行のコードへのリンクを持っている人はいますか?

テキストと JSON が混在するログ エントリを解析しようとしています。最初の行はテキスト表現で、次の行はイベントの JSON ペイロードです。考えられる例の 1 つを次に示します。

これらのレコードに対して、ログ メトリック フィルターを定義して、a) レコードを照合します。b) 可能であれば、データまたはディメンションを選択します。

AWS ドキュメントによると、JSON パターンは次のようになります。

{ $.key = "lessonrecords-create" }

しかし、それは何にも一致しません。私の推測では、1 つのログ エントリにテキストと JSON が混在しているためです。

1. このログ形式に一致するパターンを定義することは可能ですか? 2. このようなログ形式からディメンションや値を抽出することは可能ですか? 3. これを行うためのパターンを教えてください。