spark-shell または spark-submit ジョブをアクティブに実行していないときに課金されないように、Dataproc クラスタを一時停止する方法はありますか? このリンクのクラスタ管理手順: https://cloud.google.com/sdk/gcloud/reference/beta/dataproc/clusters/
クラスターを破棄する方法のみを示していますが、たとえば、spark cassandra コネクタ API をインストールしました。毎回インストールする必要があるイメージを作成するための唯一の代替手段はありますか?
一般に、クラスタのカスタマイズに使用した手順をいくつかのセットアップ スクリプトに抽出し、Dataproc の初期化アクションを使用して、クラスタのデプロイ中のインストールを簡単に自動化することをお勧めします。
これにより、たとえば、複数の同時 Dataproc クラスタで同じ設定を行う場合、マシンタイプを変更する場合、または Dataproc のサブマイナー バージョンのバグ修正を受け取る場合などに、手作業を必要とせずにカスタマイズを簡単に再現できます。たまにリリース。
現時点では、Dataproc クラスタを一時停止する方法として公式にサポートされている方法は実際にはありません。主な理由は、以下に示すいくつかの考慮事項とともに、再現可能なクラスタ デプロイを行うことができるということは、99% の確率で、代わりに初期化アクションのカスタマイズを使用する方がよいことを意味するからです。クラスターをインプレースで一時停止します。とはいえ、 Google Compute Engine のページに移動し、一時停止する Dataproc クラスタの一部であるインスタンスを選択し、それらを削除せずに [停止] をクリックするなど、短期的なハッキングの可能性があります。
Compute Engine の時間単位の料金と Dataproc の vCPU ごとの料金は、基盤となるインスタンスが実行されている場合にのみ発生します。そのため、インスタンスを手動で「停止」している間は、Dataproc がまだリストされていても、Dataproc または Compute Engine のインスタンス時間料金は発生しません。 Dataproc クラスタの概要ページの [VM インスタンス] タブに移動すると警告が表示されますが、クラスタは「RUNNING」と表示されます。
その後、 Google Compute Engine のページから [開始]をクリックするだけでクラスターを再び実行できるようになりますが、次の注意事項を考慮することが重要です。
Dataproc は最近、クラスタを停止および開始する機能を開始しました: https://cloud.google.com/dataproc/docs/guides/dataproc-start-stop