pyspark - pyspark で開始されたタスクを監視するにはどうすればよいですか

Question

クラスターでいくつかのタスクを実行するために pyspark を使用しています。タスクのステータスを確認したい。ここで述べたように、UI はデフォルトで起動する必要があると思います 。

しかし、UI を取得できません ( http://localhost:4040など)。