問題タブ [google-cloud-logging]

Container Engine のコンテナ ログはすべて、Cloud Logging でアプリケーションごとに分割されてきれいに表示されますが、カーネル メッセージが著しく欠落しています。ベアメタル Container Engine ノードから Cloud Logging にカーネル メッセージを記録するにはどうすればよいですか？

Dataproc Spark ジョブからの出力を Google Cloud ロギングに送信する方法はありますか? Dataproc ドキュメントで説明されているように、ジョブ ドライバ（Spark ジョブのマスター）からの出力は、コンソールの [Dataproc] -> [Jobs] で利用できます。Cloud Logging にもログが必要な理由は 2 つあります。

1. エグゼキューターからのログを見たいのですが。多くの場合、マスター ログには「エグゼキューターが失われました」と表示されますが、それ以上の詳細はありません。エグゼキューターが何をしようとしているのかについて、さらに情報があれば非常に便利です。
2. Cloud Logging は優れたフィルタリングと検索機能を備えています

現在、Cloud Logging に表示される Dataproc からの唯一の出力は、yarn-yarn-nodemanager-* と container_*.stderr からのログ項目です。私のアプリケーション コードからの出力は Dataproc -> Jobs に表示されますが、Cloud Logging には表示されません。これはエグゼキューターではなく、Spark マスターからの出力のみです。

kubernetes コンテナーで実行されている Python サービスがあり、ログを stdout に書き込みます。Cloud Logging コンソールでログを確認できますが、ログは構造化されていません。つまり、1. ログ レベルをフィルタリングできません 2. 複数のログ レコードとして解釈される複数行のログ レコード 3. 日付が解析されないなど.

どうすればこの問題に対処できますか? どういうわけかflunetdデーモンを設定できますか? それとも特定の形式で書くべきですか？

ありがとう

AppEngine アプリケーション ログ ( Google Cloud Logging を介して自動的に BigQuery にエクスポート) を検索するために使用する BigQuery クエリを最適化しようとしましたが、理解できないエラーが発生しました。

結果は

protoPayload.requestIdフィールドを使用するサブクエリだけを実行しようとすると、正常に動作するため、このエラーは意味がありません。

補足として、このSOは私が達成しようとしていることにより良い答えを出しますが、クエリでエラーが発生する原因はまだ知りたいです。

Google の Advanced Cloud Logging Filters は非常に強力に見えますが、使用するのは同じくらい複雑です。期間が 3 秒を超えるすべての HTTP リクエストを検索し、テキストも含むログ クエリを作成するにはどうすればよいfoo barでしょうか。

私はドキュメンテーションを読みましたが、少し物足りないところがあります(システムのユーザーではなく、言語の作成者に向けられているようです)。Duration のフィールドがあることは知っていますが、使用方法の例はありますか?

Logs API (ここで説明: https://cloud.google.com/appengine/docs/java/logs/ ) を使用して、アプリとリクエストのログにプログラムでアクセスして表示できる点が気に入っています。

AppEngine でマネージド VM を使用しているので、アドミン コンソール ログ ビューアで大量の追加ログがあることを確認できます。私の場合は、ビューアに含めることができるとわかったカスタム ログを含みます (ここに記述: https ://cloud.google.com/appengine/docs/managed-vms/custom-runtimes#logging )。

私の質問は次のとおりです: Logs API (または既に構築されている他のパイプライン) を使用してこれらのログにアクセスする方法はありますか? マネージド VM モジュールには、表示したいログを生成できるいくつかのコンポーネントが含まれています。

1. アプリのログ -- これらを取得できます。ここでは問題ありません。
2. _ah/start で開始するバックグラウンド プロセスによって作成されたカスタム ログ ファイル (スクリーンショットの「my_custom_1.log」など)
3. バックグラウンド プロセスの STDERR と STDOUT
4. 関連する管理対象 VM のログ (例: 状態が悪いためにインスタンスが再起動された場合... 通常の再起動などの他のシステム イベント?)

基本的にインスタンスレベルでの「全体像」が欲しい。この方法でマネージド VM を飼いならそうとした人はいますか? 私は自分のソリューションを展開することを楽しみにしていません。そして、STDERR と STDOUT をキャプチャする問題をどこから始めればよいかさえわかりません。どんな助けでも感謝します。

Cloud Dataflow のワーカー ログに対して二次処理を実行したいと考えています。それを行う簡単な方法はありますか？