あるサーバーから別のサーバーにペイロードを移動する必要があるユースケースがあります。両方のサーバーは同じデータ センター内に配置されます(同じ Amazon のアベイラビリティ ゾーン内であっても)。
HTTP/HTTPS を介して呼び出されるたびにファイル転送をトリガーする必要があるサービス/エンドポイントがあります。現在、15 秒以上かかることもあるため、転送を高速化する必要があります。非同期にする（たとえば、Celeryのようなタスクキューで処理する）ことは、必ずしも私の問題を解決するとは限りません（転送はまだ迅速に実行する必要があります-それをトリガーしたリクエスト中か、それ以外かは関係ありません）。
ファイルのサイズは通常 100KB ～ 500KB で、次のオプションがあります。
- SSH転送、
- ファイルシステム間の他の安全な転送 (SSHFS?
rsync、SSH 経由?)、 - ファイルを本文とする HTTP/HTTPS リクエスト、
- 他の何か？
ファイルは常に新しいものです(そのため、以前のバージョンと新しいバージョンの間の差分を送信することはできません)。これらはテキスト ファイルであるため、圧縮すると転送速度が向上する可能性があります。
それを行うための最速の方法（サーバー間でファイルをすばやく安全に転送する方法）について考えている人はいますか? サーバーは個別のインスタンスであり、おそらくこのままです。セキュリティも重要な役割を果たします。しかし、これらの制限の外では、サーバーに何かをインストールしたり、ディレクトリをマウントしたりできます。