1

Google Life Sciences API を使用する場合、Nextflow で VM のブート イメージを指定することはできますか? bootImage具体的には、ここからパラメーター について話しています: https://cloud.google.com/life-sciences/docs/reference/rest/v2beta/projects.locations.pipelines/run#virtualmachine

編集

その理由は次のとおりです。GPU を使用するいくつかのワーカーを生成しようとすると、次のエラー メッセージが表示されます。

(more omitted..)
+ NVIDIA_DRIVER_VERSION=450.51.06
+ NVIDIA_DRIVER_MD5SUM=
+ NVIDIA_INSTALL_DIR_HOST=/var/lib/nvidia
+ NVIDIA_INSTALL_DIR_CONTAINER=/usr/local/nvidia
+ ROOT_MOUNT_DIR=/root
+ CACHE_FILE=/usr/local/nvidia/.cache
+ LOCK_FILE=/root/tmp/cos_gpu_installer_lock
+ LOCK_FILE_FD=20
+ set +x
[INFO    2021-02-24 18:27:39 UTC] PRELOAD: false
[INFO    2021-02-24 18:27:39 UTC] Running on COS build id 13310.1209.10
[INFO    2021-02-24 18:27:39 UTC] Data dependencies (e.g. kernel source) will be fetched from https://storage.googleapis.com/cos-tools/13310.1209.10
[INFO    2021-02-24 18:27:39 UTC] Getting the kernel source repository path.
[INFO    2021-02-24 18:27:39 UTC] Obtaining kernel_info file from https://storage.googleapis.com/cos-tools/13310.1209.10/kernel_info
[INFO    2021-02-24 18:27:40 UTC] Downloading kernel_info file from https://storage.googleapis.com/cos-tools/13310.1209.10/kernel_info

real    0m0.079s
user    0m0.014s
sys    0m0.004s
[INFO    2021-02-24 18:27:40 UTC] Checking if this is the only cos-gpu-installer that is running.
[INFO    2021-02-24 18:27:40 UTC] Checking if third party kernel modules can be installed
[INFO    2021-02-24 18:27:40 UTC] Checking cached version
[INFO    2021-02-24 18:27:40 UTC] Cache file /usr/local/nvidia/.cache not found.
[INFO    2021-02-24 18:27:40 UTC] Did not find cached version, building the drivers...
[INFO    2021-02-24 18:27:40 UTC] Downloading GPU installer ... 
[INFO    2021-02-24 18:27:40 UTC] Downloading from https://storage.googleapis.com/nvidia-drivers-eu-public/nvidia-cos-project/85/tesla/450_00/450.51.06/NVIDIA-Linux-x86_64-450.51.06_85-13310-1209-10.cos
[INFO    2021-02-24 18:27:40 UTC] Downloading GPU installer from https://storage.googleapis.com/nvidia-drivers-eu-public/nvidia-cos-project/85/tesla/450_00/450.51.06/NVIDIA-Linux-x86_64-450.51.06_85-13310-1209-10.cos

real    0m0.811s
user    0m0.175s
sys    0m0.495s
[INFO    2021-02-24 18:27:41 UTC] Setting up compilation environment
[INFO    2021-02-24 18:27:41 UTC] Obtaining toolchain_env file from https://storage.googleapis.com/cos-tools/13310.1209.10/toolchain_env
[INFO    2021-02-24 18:27:41 UTC] Downloading toolchain_env file from https://storage.googleapis.com/cos-tools/13310.1209.10/toolchain_env

real    0m0.021s
user    0m0.013s
sys    0m0.003s
[INFO    2021-02-24 18:27:41 UTC] Found toolchain path file locally
ls: cannot access '/build/cos-tools': No such file or directory
[INFO    2021-02-24 18:27:41 UTC] /build/cos-tools: 
ls: cannot access '/build/cos-tools': No such file or directory
[INFO    2021-02-24 18:27:41 UTC] Downloading toolchain from https://storage.googleapis.com/chromiumos-sdk/2020/06/x86_64-cros-linux-gnu-2020.06.25.065836.tar.xz
[INFO    2021-02-24 18:27:41 UTC] Downloading toolchain archive from https://storage.googleapis.com/chromiumos-sdk/2020/06/x86_64-cros-linux-gnu-2020.06.25.065836.tar.xz
curl: (16) Error in the HTTP2 framing layer

real    0m2.403s
user    0m0.580s
sys    0m1.461s
[ERROR   2021-02-24 18:27:44 UTC] Could not download toolchain archive from https://storage.googleapis.com/chromiumos-sdk/2020/06/x86_64-cros-linux-gnu-2020.06.25.065836.tar.xz, giving up.

そのため、見つからないかインストールできなかったツールチェーンについて何か。ただし、この問題はランダムに発生します。72 個のワーカーを生成することもあり、すべて問題ありません。時々、このエラーが発生します。

私が言及したパラメーターを変更すると、この問題は解決すると思いましたが、そうではありません。

掘り下げましたが、関連するものはほとんど見つかりませんでした。私が見つけることができる唯一の関連スレッドはhttps://github.com/DataBiosphere/dsub/issues/215ですが、投稿された解決策もありません。

4

1 に答える 1

1

現在 (v21.02.0-edge 時点) ではありません。こちらを参照してください。

https://github.com/nextflow-io/nextflow/blob/v21.02.0-edge/plugins/nf-google/src/main/nextflow/cloud/google/lifesciences/GoogleLifeSciencesConfig.groovy

ドキュメントから、このオプションの使用例は限られているように見えbootImageますが、コンテナー化されたワークフローにはおそらくあまり意味がありません。

ブートイメージ

使用するホスト オペレーティング システム イメージ。

現在、Container-Optimized OS イメージのみを使用できます。

デフォルト値は projects/cos-cloud/global/images/family/cos-stable で、Container-Optimized OS の最新の安定版リリースを選択します。

このオプションは、オペレーティング システムのベータ リリースに対してテストを行い、新しいバージョンが運用パイプラインに悪影響を及ぼさないことを確認できるようにするために提供されています。

Container-Optimized OS のベータ リリースに対してパイプラインをテストするには、値 projects/cos-cloud/global/images/family/cos-beta を使用します。

ワークフローを実行するために、最新の安定版リリース以外に別のブート イメージが必要な理由はありますか? おそらく新しいドッカーですか？

編集：

ここで実行されていると思われるコードを見てきましたが、正しいバージョンを持っているかどうかはわかりませんが、それが本当に重要かどうかはわかりません:

https://github.com/GoogleCloudPlatform/cos-gpu-installer/blob/v20210204/cos-gpu-installer-docker/entrypoint.sh#L299-L324

「... からツールチェーン アーカイブをダウンロードできませんでした」というメッセージは正確であり、curl レポートが表示されます。なんで？散発的に発生する場合は、単なるダウンロード/タイムアウト エラーだと思います。ただし、HTTP2 フレーミング レイヤーのエラーは少し奇妙です。これが正確に何を意味するのか、HTTP バージョン 2 を使用すると問題が発生する理由がよくわかりません。あなたの最善の策は、ここで問題を開くことだと思います：

https://github.com/GoogleCloudPlatform/cos-gpu-installer/issues

于 2021-02-25T02:41:28.003 に答える