問題タブ [knox-gateway]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

49 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
405 参照

knox-gateway - Spark History UI は利用可能ですが、進行中のアプリケーションの UI エラーを追跡します

knox を使用するクラスターを継承し、完了した Spark ジョブで Spark 履歴サーバーを使用できるのに、進行中の Spark アプリケーションで Spark UI を使用できない理由を理解しようとしています。

この糸 UI (Knox を介して公開されます) には、5 つの完了した糸アプリケーションと 1 つの進行中の糸アプリケーションがあります。すべてが Spark アプリケーションです。 kox を介して公開された糸 UI

トラッキング UI 列で使用できるリンクは次のとおりです。

完了したジョブに関連する 5 つのリンクはすべて、それらのジョブの Spark History サーバー UI を正常に表示します。発行cat ${GATEWAY_HOME}/logs/gateway-audit.logすると、これらの 5 つのリンクのいずれかにアクセスすると、次のように表示されます。

20/01/27 15:50:55 ||55bef3f3-a52f-4790-97d0-bd6e5076a293|監査|109.231.200.210, 165.225.80.109, 34.102.220.138, 130.21|1.0.229|YARNUI||うり|/ gateway/my-cluster-name/yarn/proxy/application_1580137635209_0001|利用不可|リクエスト方法: GET
20/01/27 15:50:55 ||55bef3f3-a52f-4790-97d0-bd6e5076a293|audit|109.231.200.210, 165.225. 80.109, 34.102.220.138, 130.211.0.229|ヤルヌイ||||ディスパッチ|ウリ| http://my-cluster-name-m:8088/proxy/application_1580137635209_0001|利用不可|リクエスト方法: GET
20/01/27 15:50:55 ||55bef3f3-a52f-4790-97d0-bd6e5076a293|audit|109.231. 200.210, 165.225.80.109, 34.102.220.138, 130.211.0.229|ヤルヌイ||||ディスパッチ|ウリ| http://my-cluster-name-m:8088/proxy/application_1580137635209_0001|成功|応答ステータス: 302
20/01/27 15:50:55 |||監査|109.231.200.210、165.225.80.109、34.102.220.138、130.211.0.229|YARNUI||||アクセス|uri|/gateway/my-cluster-name/yarn /proxy/application_1580137635209_0001|success|Response status: 302
20/01/27 15:50:55 ||f7617e15-3bf4-4a8c-9701-9785894d7884|audit|109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.234 |SPARKHISTORYUI||||アクセス|uri|/gateway/my-cluster-name/sparkhistory/history/application_1580137635209_0001/1|利用不可|リクエスト方法: GET 20/01/27 15:50:55 ||f7617e15-3bf4-4a8c -9701-9785894d7884|監査|109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.234|SPARKHISTORYUI||||dispatch|uri| http://my-cluster-name-m:18080/history/application_1580137635209_0001/1/|unavailable|リクエスト方法: GET
20/01/27 15:50:55 ||f7617e15-3bf4-4a8c-9701-9785894d7884|監査|109.231.200.210, 165.225.80.109, 34.102.220.138, 130.211.0.234|スパーク|ユイスター|ディスパッチ|ヒストリー http://my-cluster-name-m:18080/history/application_1580137635209_0001/1/|成功|応答ステータス: 30

Spark History UI リソースのその他のログ レコードも多数あります。すべて良い。302 レコードに注意してください (リダイレクト)

ただし、進行中のアプリケーションのリンクをクリックすると、クラスター マスター ノードである http://my-cluster-name-m:18080/history/application_1580137635209_0006/1に送信され、次のように表示されます。ここに画像の説明を入力

ログには次のように表示されます。

20/01/27 15:58:38 ||aec261d3-7ecc-43a7-8815-d7185ee13833|監査|109.231.200.210、165.225.80.109、34.102.220.138、130.211.1.130|YARNUI|uri|||アクセスgateway/my-cluster-name/yarn/proxy/application_1580137635209_0006|unavailable|リクエスト方法: GET
20/01/27 15:58:38 ||aec261d3-7ecc-43a7-8815-d7185ee13833|audit|109.231.200.210, 165.225. 80.109, 34.102.220.138, 130.211.1.130|ヤルヌイ||||ディスパッチ|ウリ| http://my-cluster-name-m:8088/proxy/application_1580137635209_0006|利用不可|リクエスト方法: GET
20/01/27 15:58:38 ||aec261d3-7ecc-43a7-8815-d7185ee13833|audit|109.231. 200.210, 165.225.80.109, 34.102.220.138, 130.211.1.130|ヤルヌイ||||ディスパッチ|ウリ| http://my-cluster-name-m:8088/proxy/application_1580137635209_0006|成功|応答ステータス: 200
20/01/27 15:58:38 |||監査|109.231.200.210、165.225.80.109、34.102.220.138、130.211.1.130|YARNUI||||アクセス|uri|/gateway/my-cluster-name/yarn /proxy/application_1580137635209_0006|成功|応答ステータス: 200

そこには 302 レコードがないことに注意してください。

編集: 最初にこれを投稿して以来、アプリケーションの開始直後に追跡 UI リンクをクリックすると、糸アプリケーションの詳細に移動することに気付きました。

糸アプリの詳細

数秒後に同じリンクをクリックすると、上記のようなエラーが表示されます。

この時点で少し迷っています。進行中のアプリケーションの Spark UI を表示できない理由を説明できる人はいますか? 私がどのように診断できるかについての指針は歓迎されます。


12345678910