ファイル関連のユース ケースがいくつかありますが、Cloud Composer を使用して最も効果的に達成する方法がわかりません。これらをどのように達成するのが最善ですか?
1) SFTP サーバーにアクセスするには、秘密鍵 (.pem) ファイルを使用する必要があります。このファイルをどこに保存し、どのようにアクセスする必要がありますか? オンプレミスの Airflow では、/dags/ と同じディレクトリにあるフォルダー /keys/ にファイルを配置するだけです。
2) SFTP サーバーから Cloud Storage にファイルを移動する必要があります。オンプレミスの Airflow を使用して、これらを SFTP サーバーから Airflow ワーカー インスタンスの特定の場所にダウンロードし、そこからアップロードします。Composer で同様のことを行うことはできますか? ファイル システムにアクセスできない場合の回避策はありますか?