サイトのスクレイピング中に、コードが相対パスを使用しているため、JavaScriptでいくつかのスクレイピングされた関数を変更する必要があることを発見しました。
/UserControl/bla
絶対パスを使用するように変更する必要があります。
www.domain-name.com/UserControl/bla
問題は、スクレイプされたページに含まれる別のファイルに書き込まれた関数です。これまでのところ、PHP関数を使用してそのファイルをストリーミングし、使用するfile_get_contents()
必要のある部分を変更し、preg_replace
そのスクリプトをスクレイプされたHTMLのヘッドセクションに挿入することしかできません。含まれているJavaScriptファイルは、アクセスできないサーバー上にあるため、変更するためのアクセス権がありません。
それはこれを行う正しい方法ですか?