実験を記録するデータ サイエンス ワークフローpapermill
の一部として使用したいと考えています。重要なアイデアは、出力ノートブックを一意のアーティファクト (実験の不変の記録) として保存する必要があるということです。そのため、出力ファイル名を. Linux CLI でこれを自動的に行うにはどうすればよいですか? papermill docs から、次のような正確な出力ファイル名を指定する必要があるようですexperiment_<hash>.ipynb
papermill local/input.ipynb s3://bkt/output.ipynb -f parameters.yaml
一方、私が本当に欲しいのは次のようなものです
papermill local/input.ipynb s3://bkt/output_[UNIQUE HASH HERE].ipynb -f parameters.yaml
papermill
呼び出し内でこれを自動的に実行したい。手動の方法は
$ echo cat input.ipynb | md5sum
22f69c25ee3a855b17fead21e702668a
$ papermill local/input.ipynb s3://bkt/output_22f69c25ee3a855b17fead21e702668a.ipynb -f parameters.yaml
しかし、カットアンドペーストで手動でやりたくありません。