問題タブ [amazon-cloudtrail]

現在、ログ収集製品を使用しており、AWS から CloudTrail ログを取得できるようにしたいと考えています。CloudTrail でイベントを検索するために、boto3 クライアントの使用を開始しました。コマンドラインから直接スクリプトを実行するとスクリプトが正しく動作するようになりましたが、cron に入れてログを自動的に取得しようとするとすぐに、ログの収集が停止しました。

ログを取得するためのスクリプトの基本的な内容のサンプルを次に示します。

私はそれをさらに調べ、いくつかのテストを行って、アクセス許可が宛先ファイルに正しく、スクリプトがルートの crontab から実行されたときにそれらに書き込むことができることを確認しましたが、それでも boto cloudtrail クライアントからログが返されませんでした。手動で実行しました。

また、デフォルトのリージョンが /root/.aws/config から正しく読み取られていることも確認しました。移動すると、cron メールに成功メッセージではなくスタック トレースが表示されるため、そのように見えます。組み込まれています。

誰かがすでにこれに遭遇していることを願っています。それは簡単な答えです!

編集: cloudtrail ログへのアクセス許可は、インスタンスの IAM ロールを介して許可されます。はい、タスクはルートの crontab でスケジュールされます。

メール出力は次のとおりです。

読み取りトランザクションが dynamodb のしきい値を超えていることがわかります。どのクエリがこの高い使用率を生み出しているかを確認したいと思います。オラクルの AWR のようなレポートを探しています。助言がありますか

AWS の RHEL 7.2 で実行される ELK サーバーを構築しました。計画では、S3 バケットから cloudtrail ログを取り込み、キバナのフロント エンドでマジックを実行する予定ですが、うまくいかず、解決しようとして人生の何日かを失いました。 . logstash.log から、S3 バケット内のファイルを読み取っていることがわかりますが、それだけです。他に何も起こっていないようです。

私のセットアップ：

root@elk conf.d]# 猫 *

logstash 出力でインデックスを定義する方法がわかりませんが、kibana フロント エンドでインデックスを検索し、3 つの時間枠オプションのいずれかを選択できますが、それが何を意味するのかわかりません。sniffing = true にする必要がありますか? アクションを定義する必要があります => create ? logstash の入力と出力の両方で cloudtrail コーデックを定義する必要がありますか?

「プラグインが名前空間で定義されていません。プラグインファイルをチェックしています」と表示されているときの意味を誰か教えてもらえますか? 必要なプラグインがすべてインストールされているにもかかわらず、プラグインが見つからないように思えます（私は思う）

これは、手動でlogstashを開始したときの出力です...しかし、それは私にとってあまり意味がありません..

logstash.log が method=>"list_new_files" と言い続けるとき、それはどういう意味ですか? (logstash が停止/開始されるたびに) S3 バケットを再読み込みするのに忙しいということですか?

たくさんの質問があることは承知していますが、このセットアップをゴミ箱に捨てる前に、助けを求めようと思いました.

ありがとう

Go SDK を使用して cloudtrail を作成しようとしています。AWS doc に従って問題なく AWS に接続できました。

トレイルを作成するための以下の手順に従いました

ステップ 1 - S3 バケットを作成して、すべての証跡ログ ファイルをこのバケットに配置できるようにします。

CreateS3Bucket: コード

成功の応答:

ステップ 2 - CloudTrail を作成する

CreateCloudTrail: コード

応答

誰でも私が間違っているところを教えてください。Trail の作成中に指定する必要がある S3 ポリシー

どんなヘルプ/提案も本当に感謝しています

参照: https://docs.aws.amazon.com/sdk-for-go/api/service/cloudtrail/#CloudTrail.CreateTrail

https://docs.aws.amazon.com/sdk-for-go/api/service/s3/#S3.CreateBucket

約 1 年間、AWS で多数の EC2 インスタンスを実行しています。現在、インスタンスを起動した際に使用したユーザー名に基づいて、未使用のインスタンスのクリーンアップ アクティビティを実行しようとしています。

S3 バケットから cloudtrail ログをダウンロードして、ユーザー名と「RunInstances」イベントをフィルタリングして、インスタンスを起動したユーザーとインスタンスの詳細を見つけられるようにしました。

以下は、すべての cloudtrail ログを 1 つのフォルダーにダウンロードし、それらを解凍して、「RunInstances」イベントでインスタンスをフィルター処理し、インスタンスの数を与えるために使用したスクリプトです。

「RunInstances」イベントを使用して各ログからユーザー名を取得し、インスタンスを停止する方法についてサポートが必要です。

私のスクリプト：

とにかく、zipファイルをダウンロードせずにs3バケット自体から直接情報を取得できますか? 約 100 万を超えるログ ファイルがあるため、これには多くの時間がかかるためです。

プログラミング言語またはスクリプトでこれを理解する方法が必要です。

ご協力ありがとうございました。

これは次の解決策で機能しましたが、より良いアプローチがあるかどうか疑問に思っていました。

ワーキングソリューション

• CustomerA(Cloudtrails) ---> CustomerA (Cloudwatch) --> マスター (S3 バケット) --> マスター (Lambda) --> マスター (Kinesis)

次のことを試しましたが、これらを機能させることができませんでした (これらは可能ですか?)

• CustomerA( Cloudtrails ) --> CustomerA ( Cloudwatch ) --> マスター ( Lambda )

• CustomerA( Cloudtrails ) --> CustomerA ( Cloudwatch ) --> Master (
  Kinesis )

私は 4 つの AWS アカウントを持っています。セキュリティ上の理由から、すべてのログを 1 つのアカウントに集中させたいと考えています。

つまり、prod、dev、perf のアカウントから cloudwatch ログを logs というアカウントに収集します。理想的には、それらはアカウント ログの cloudwatch で終了するため、ELK で簡単に処理できます。

私はそれについてここで読んだ：

http://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CrossAccountSubscriptions.html

しかし、スタック全体を簡単にセットアップする方法に関するチュートリアルが見つかりません。

任意の提案をいただければ幸いです。