1

Google Cloud Dataprocで、Spark または Hadoop のジョブ履歴サーバーにアクセスするにはどうすればよいですか? ジョブを実行するときにジョブ履歴の詳細を確認できるようにしたいと考えています。

4

1 に答える 1

2

これを行うには、クラスターへの SSH トンネルを作成してから、ブラウザーで SOCKS プロキシーを使用する必要があります。これは、Web インターフェイスがクラスターで開いている間、ファイアウォール ルールにより、(セキュリティのために) 誰も接続できないという事実によるものです。

Spark または Hadoop ジョブ履歴サーバーにアクセスするには、最初にクラスターのマスター ノードへの SSH トンネルを作成する必要があります。

gcloud compute ssh --zone=<master-host-zone> \ --ssh-flag="-D 1080" --ssh-flag="-N" --ssh-flag="-n" <master-host-name>

SSH トンネルを配置したら、SOCKS プロキシを使用するようにブラウザーを構成する必要があります。Chrome を使用していて、システム上の Chrome へのパスを知っていると仮定すると、次を使用して SOCKS プロキシで Chrome を起動できます。

<Google Chrome executable path> \
  --proxy-server="socks5://localhost:1080" \
  --host-resolver-rules="MAP * 0.0.0.0 , EXCLUDE localhost" \
  --user-data-dir=/tmp/

これを行う方法の詳細については、こちらを参照してください。

于 2015-11-20T21:07:27.603 に答える