knox を使用するクラスターを継承し、完了した Spark ジョブで Spark 履歴サーバーを使用できるのに、進行中の Spark アプリケーションで Spark UI を使用できない理由を理解しようとしています。
この糸 UI (Knox を介して公開されます) には、5 つの完了した糸アプリケーションと 1 つの進行中の糸アプリケーションがあります。すべてが Spark アプリケーションです。
トラッキング UI 列で使用できるリンクは次のとおりです。
- https://my-knox-endpoint/gateway/my-cluster/yarn/proxy/application_1580137635209_0001
- https://my-knox-endpoint/gateway/my-cluster/yarn/proxy/application_1580137635209_0002
- https://my-knox-endpoint/gateway/my-cluster/yarn/proxy/application_1580137635209_0003
- https://my-knox-endpoint/gateway/my-cluster/yarn/proxy/application_1580137635209_0004
- https://my-knox-endpoint/gateway/my-cluster/yarn/proxy/application_1580137635209_0005
- https://my-knox-endpoint/gateway/my-cluster/yarn/proxy/application_1580137635209_0006
完了したジョブに関連する 5 つのリンクはすべて、それらのジョブの Spark History サーバー UI を正常に表示します。発行cat ${GATEWAY_HOME}/logs/gateway-audit.logすると、これらの 5 つのリンクのいずれかにアクセスすると、次のように表示されます。
20/01/27 15:50:55 ||55bef3f3-a52f-4790-97d0-bd6e5076a293|監査|109.231.200.210, 165.225.80.109, 34.102.220.138, 130.21|1.0.229|YARNUI||うり|/ gateway/my-cluster-name/yarn/proxy/application_1580137635209_0001|利用不可|リクエスト方法: GET
20/01/27 15:50:55 ||55bef3f3-a52f-4790-97d0-bd6e5076a293|audit|109.231.200.210, 165.225. 80.109, 34.102.220.138, 130.211.0.229|ヤルヌイ||||ディスパッチ|ウリ| http://my-cluster-name-m:8088/proxy/application_1580137635209_0001|利用不可|リクエスト方法: GET
20/01/27 15:50:55 ||55bef3f3-a52f-4790-97d0-bd6e5076a293|audit|109.231. 200.210, 165.225.80.109, 34.102.220.138, 130.211.0.229|ヤルヌイ||||ディスパッチ|ウリ| http://my-cluster-name-m:8088/proxy/application_1580137635209_0001|成功|応答ステータス: 302
20/01/27 15:50:55 |||監査|109.231.200.210、165.225.80.109、34.102.220.138、130.211.0.229|YARNUI||||アクセス|uri|/gateway/my-cluster-name/yarn /proxy/application_1580137635209_0001|success|Response status: 302
20/01/27 15:50:55 ||f7617e15-3bf4-4a8c-9701-9785894d7884|audit|109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.234 |SPARKHISTORYUI||||アクセス|uri|/gateway/my-cluster-name/sparkhistory/history/application_1580137635209_0001/1|利用不可|リクエスト方法: GET 20/01/27 15:50:55 ||f7617e15-3bf4-4a8c -9701-9785894d7884|監査|109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.234|SPARKHISTORYUI||||dispatch|uri| http://my-cluster-name-m:18080/history/application_1580137635209_0001/1/|unavailable|リクエスト方法: GET
20/01/27 15:50:55 ||f7617e15-3bf4-4a8c-9701-9785894d7884|監査|109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.234|スパーク|ユイスター|ディスパッチ|ヒストリー http://my-cluster-name-m:18080/history/application_1580137635209_0001/1/|成功|応答ステータス: 30
Spark History UI リソースのその他のログ レコードも多数あります。すべて良い。302 レコードに注意してください (リダイレクト)
ただし、進行中のアプリケーションのリンクをクリックすると、クラスター マスター ノードである
http://my-cluster-name-m:18080/history/application_1580137635209_0006/1に送信され、次のように表示されます。
ログには次のように表示されます。
20/01/27 15:58:38 ||aec261d3-7ecc-43a7-8815-d7185ee13833|監査|109.231.200.210、165.225.80.109、34.102.220.138、130.211.1.130|YARNUI|uri|||アクセスgateway/my-cluster-name/yarn/proxy/application_1580137635209_0006|unavailable|リクエスト方法: GET
20/01/27 15:58:38 ||aec261d3-7ecc-43a7-8815-d7185ee13833|audit|109.231.200.210, 165.225. 80.109, 34.102.220.138, 130.211.1.130|ヤルヌイ||||ディスパッチ|ウリ| http://my-cluster-name-m:8088/proxy/application_1580137635209_0006|利用不可|リクエスト方法: GET
20/01/27 15:58:38 ||aec261d3-7ecc-43a7-8815-d7185ee13833|audit|109.231. 200.210, 165.225.80.109, 34.102.220.138, 130.211.1.130|ヤルヌイ||||ディスパッチ|ウリ| http://my-cluster-name-m:8088/proxy/application_1580137635209_0006|成功|応答ステータス: 200
20/01/27 15:58:38 |||監査|109.231.200.210、165.225.80.109、34.102.220.138、130.211.1.130|YARNUI||||アクセス|uri|/gateway/my-cluster-name/yarn /proxy/application_1580137635209_0006|成功|応答ステータス: 200
そこには 302 レコードがないことに注意してください。
編集: 最初にこれを投稿して以来、アプリケーションの開始直後に追跡 UI リンクをクリックすると、糸アプリケーションの詳細に移動することに気付きました。
数秒後に同じリンクをクリックすると、上記のようなエラーが表示されます。
この時点で少し迷っています。進行中のアプリケーションの Spark UI を表示できない理由を説明できる人はいますか? 私がどのように診断できるかについての指針は歓迎されます。