2〜3 MBの生データをダウンロードしてETLプロセスにフィードし、データマートにロードするWebサイトがあります。残念ながら、データプロバイダーは米国農務省（USDA）であり、FTP経由でのダウンロードは許可されていません。Webフォームを使用して必要な要素を選択し、2〜3の画面をクリックして、最終的にクリックしてファイルをダウンロードする必要があります。このダウンロードプロセスを自動化したいのですが。私はWeb開発者ではありませんが、どういうわけか、何らかのツールを使用して、最終的なリクエストからサーバーへのput / get/magicが何をするのかを正確に教えてくれるはずです。「これらのパラメーターをこのURLに渡して応答を待つ」というツールがあれば、Perlで何かを一緒にハックして、このプロセスを自動化できます。
5つのページすべてを分解し、JavaScriptインクルードを読み、ヒールを3回一緒にタップすると、アクセスできるものからこの情報を取得できることに気付きました。しかし、すべてのJSを手動で解析する必要のない、より高速でより直接的なパスが必要です。
最後の質問の言い換え：Webフォームから送信された最終的なリクエストリクエストが何であり、それがどのように構成されているかを明確に示すツールまたはメソッドはありますか？