私は Apple の iTunes EPF データ ファイルを扱っています。毎日 .tbz ファイルで 1 ～ 3 GB のデータをダウンロードして解凍し、処理する必要があります。
Heroku でホストされている Rails アプリを持っており、ほとんどのアセット ストレージは S3 で管理されています。
しかし、私が問題を抱えているのは、Apple から EPF ファイルを取得するための流れです。
ダウンロードするファイルは3つあります。それぞれが .tbz ファイルで、サイズは 1GB から最大 20MB までさまざまです。
Heroku には信頼できるファイルを保存する方法がないため、ファイルを S3 に直接ダウンロードする必要があると思いますか? 次に、どういうわけかそこでそれらを解凍しますか？
そこにひっかかるところです。Apple から S3 にファイルを実際に取得する方法は知っていますが、ファイルを解凍する方法については、私がフォローしていません。
また、データ ファイルは非常に大きくなる可能性があるため、S3 経由の転送を最小限に抑えることは、コストを抑えるために重要です。
Apple ファイルをサーバーにダウンロードして解凍し、必要なファイルを S3 にアップロードできるサービスはありますか?