python - QDS でコマンドを実行するときのタイムアウト値を変更する方法

Question

Python スクリプトを呼び出す spark-submit コマンドがあります。コードは 36 時間以上実行されますが、QDS のタイムアウト制限が 36 時間であるため、コマンドは 36 時間後に強制終了されます。

このパラメータ値を 50 時間に変更する方法を教えてください。これは、QDS でスクリプトを呼び出す方法です

/usr/lib/spark/bin/spark-submit s3:///abc.py

Answer 1

時間制限を 36 時間以上に設定することはできません。しかし、spark コマンドのこの制限を取り除くことができます。Analyze/Notebooks から Spark アプリケーションを実行するには、クラスターを開始する前に次のことを行う必要があります。

クラスター構成を編集し、Hadoop 構成オーバーライドで次の構成を更新します。

yarn.resourcemanager.app.timeout.minutes=-1

クラスター構成を編集し、Spark 構成オーバーライドで次の構成を更新します

spark.qubole.idle.timeout=-1 

これが役立つかどうか教えてください。また、ストリーミング アプリケーションを実行しておらず、spark アプリによって処理/アクセスされるデータがそれほど大きくない場合は、パフォーマンス チューニングによってアプリの実行時間を短縮することもできます (それにより、実行時間を短縮できる可能性があります)。その場合、この 36 時間の制限を削除する必要はありません。