3

Spark ノートブックをデバッグするときに、より多くの情報が必要です。いくつかのログ ファイルが見つかりました。

!ls $HOME/notebook/logs/

ファイルは次のとおりです。

bootstrap-nnnnnnnn_nnnnnn.log
jupyter-nnnnnnnn_nnnnnn.log   
kernel-pyspark-nnnnnnnn_nnnnnn.log
kernel-scala-nnnnnnnn_nnnnnn.log
logs-nnnnnnnn.tgz
monitor-nnnnnnnn_nnnnnn.log
spark160master-ego.log

どのアプリケーションがこれらのファイルにログを記録し、これらの各ファイルにどのような情報が書き込まれるか?

4

2 に答える 2

3

ノートブックをデバッグするとき、kernel-*-*.logファイルは探しているものです。

論理的な順序で...

  1. bootstrap-*.logサービス開始時に書き込まれます。開始ごとに 1 つのファイル。タイムスタンプはそれがいつ発生したかを示します。ユーザー環境の初期化、カーネル仕様の作成、Spark 構成の準備などを行う起動スクリプトからの出力が含まれます。

  2. bootstrap-*_allday.log当日の運行開始・終了の記録を持っています。

  3. jupyter-*.logJupyter サーバーからの出力が含まれています。からの初期化bootstrap-*.logが完了すると、Jupyter サーバーが開始されます。そのとき、このファイルが作成されます。ノートブック カーネルが開始または停止されたとき、およびノー​​トブックが保存されたときに、ログ エントリが表示されます。

  4. monitor-*.logサービスで開始された監視スクリプトからの出力が含まれています。監視スクリプトは、Jupyter サーバーがリッスンしているポートを検出する必要があります。その後、サービスのアクティビティを監視し、アイドル状態が長すぎるとサービスをシャットダウンします。

  5. kernel-*-*.logノートブック カーネルからの出力が含まれています。すべてのカーネルは個別のログ ファイルを取得し、タイムスタンプはカーネルがいつ開始されたかを示します。ファイル名の 2 番目の単語は、カーネルのタイプを示します。

  6. spark*-ego.logSpark ジョブ スケジューリングからの出力が含まれます。これは、ノートブック カーネルがアイドル状態であっても Spark がアクティブかどうかを検出するために、監視スクリプトによって使用されます。

  7. logs-*.tgzそれぞれの日のアーカイブ ログが含まれています。数日後に自動的に削除されます。

于 2016-07-06T06:11:05.817 に答える