現在、cURLを使用してHTTPリクエストを実行していますが、正常に機能します。ただし、JavaScriptコードを取得し、HTMLのコンテキストで実行して、WebブラウザーのようにDOMを操作する必要があります。
最初に頭に浮かんだのは、 Firefoxを使用することでした。コマンドラインインターフェイスがあるので、プログラムでHTTPリクエストを実行し、JavaScriptをネイティブに実行して、DOMを操作するのは簡単だと思いました。 、操作後に生成されたHTMLを取得します。
ただし、データを非同期でフェッチする際に問題が発生することもあるため、これは予想よりも困難です。
たぶん誰かがすでにこれをしていて、何が最善の解決策になるかについて私にいくつかのヒントを与えることができます。