問題タブ [google-cloud-logging]

Google Cloud Logging は最近、Cloud Identity Access Management (IAM) の監査ログのサポートを開始しました。以下のアクティビティを実行した後に監査ログを要求すると、次のエラーが発生します。

アクティビティ: サービス アカウントを管理する新しいメンバーを招待します。

アクティビティを実行する手順: Google Developers Console に移動 -> プロジェクトを選択 -> 左ペインから [権限] を選択 -> [サービス アカウント] をクリック -> サービス アカウントを選択し、[権限] をクリック -> 新しいアカウントを追加メンバー、役割を指定し、「追加」をクリックします。

エラー: { "エラー": { "コード": 500、"メッセージ": "応答を JSON に変換できませんでした: 無効なタイプの URL、不明なタイプ: google.iam.v1.logging.AuditData"、"ステータス": "内部" } }

ログ エントリAPIは、このアクティビティまでログをフェッチできますが、このアクティビティ以降に行われたアクティビティのログをフェッチできません。

Project Sinks が Google Log Exporter で使用されている場合、 Appengineログの列をBig Queryへのストリーミングから除外することはできますか?

System.err への書き込みが、GCP ロギングのエラー レベルのロギング イベントにマップされていることがわかります。これらを警告レベルなどの別のログ レベルにマップする方法はありますか?

私たちのコードでは、常に SLF4J ロガーに書き込みますが、残念ながら System.err に書き込み、例外をスローするサードパーティのライブラリを使用しています。例外があるため、System.err をエラーとしてログに記録したくありません。

更新: Dataflow には com.google.cloud.dataflow.sdk.runners.worker.logging.DataflowWorkerLoggingInitializer クラスがあり、必要に応じて stdout と stderr を構成できるように見えます。削除された理由を知っている人はいますか？

コマンドラインオプションを使用して構成しました：

または、次のコード:

App Engine クラシックで実行されているモジュールと、App Engine フレキシブルで実行されている別のモジュールがあります。App Engine Classic で実行されているログを表示すると、ログ エントリは各リクエスト内にネストされます。

ただし、App Engine フレキシブルで実行されているログを表示する場合、それらはネストされていません。各ログ エントリは、要求から切り離されているように見えます。これにより、どのログがどのリクエストに関連付けられているかを判断することが非常に困難になります。

App Engine フレキシブルのログを各リクエストの下にネストすることは可能ですか (App Engine クラシックの場合と同様)?

この不一致を説明するドキュメントには何も見つかりません。

「protoPayload.resource」プロパティを使用して、リソース マッピングに基づいてログをフィルタリングしようとしています。正確なリソース名を指定すると問題なく動作します。

このプロパティに正規表現を指定してログを除外するにはどうすればよいですか?

ロギング API の Maven 依存関係:

Google Compute Engine の Ubuntu 14.04 で nodeJS サーバーを実行しています。アプリケーションに Google クラウド ログを使用したいので、https: //cloud.google.com/logging/docs/agent/installation に従って Google fluentd ログ エージェントをインストールしました。

ログの書き込みには winston と winston-syslog を使用しました。これがコードです。

を使用してログを書いているとき

私は得ています

ログを文字列ではなく JSON として表示する textPayload の代わりに structPayload を取得する方法。

私は GCP AppEngine を初めて使用し、いくつかの理由からフレキシブル環境を選択しました。しかし、フレキシブル環境の「互換性のない」ランタイムでは、アプリのロギング イベントをクラウド ロギングの適切なログレベルにマッピングできないように見えることにショックを受けました。私はこれを正しく読んでいますか？ https://cloud.google.com/appengine/docs/flexible/java/writing-application-logs#writing_application_logs_1

そして、このページは本当に役に立ちませんでした。https://cloud.google.com/java/getting-started/logging-application-events

これは、GAE ロギングの問題を数時間読み、スタンダード環境とフレキシブル環境にどちらが適用されるかを判断しようとした結果です。私が知る限り、標準環境ではイベント レベルのマッピングが可能です。

ただし、Cloud Platform Console でのログ レベルの表示をより細かく制御するには、ロギング フレームワークで java.util.logging アダプタを使用する必要があります。https://cloud.google.com/appengine/docs/java/how-requests-are-handled#Java_Logging

わかった。それは漠然とした参照ですが、どこかでもっと明確なものを見たと思います。

いずれにせよ、これは「柔軟な」環境ではより簡単であるべきではありませんか? ロギング レベルで簡単にイベントをフィルタリングしたくない人はいますか?

更新: GAE フレキシブル環境で互換性のないランタイムについて尋ねていることを示すために、質問を明確にしました。

公式の mongo Docker イメージを使用して、起動ディスクが制限されている (10G など) MongoDB コンテナーを起動しています。Docker を Google Cloud Logging ドライバーで実行するように構成し、Google がすべてのログを保存してローカル ディスク スペースを節約することを望んでいました。ただし、ディスクが拡大し続けていることに気付きました。

さらに掘り下げていくと、Docker コンテナーのサイズが時間の経過とともに大きくなっていることがわかりました。

ただし、どういうわけかその中のディレクトリにアクセスできないため、これ以上先に進むことはできません。

Docker とルートの内部に移動するとdu -sh、領域を占有している疑わしいディレクトリは見つかりません。

したがって、私の問題は、ディスクスペースがどこで使用されているかをどのように見つけ、どのように削除するかです。

私の docker 起動コマンド (プロジェクト オプションなしで表示)

編集: しばらくの間、サイズの増加が 3GB から 4.5GB で止まっていることに気付きました。だから、今はある程度の均衡に達していると思います。