PhantomJS と webdriver を使用して、基本的に次の手順で構成される簡単なスクレイピング プログラムを作成しました。
ページに移動します xpath によってページから多数のリンク (30) を収集します 各リンクについて、その URL に移動し、ページ上のテキスト要素の束を収集します
これを JavaScript で呼び出しているのではなく、C# で記述された webdriver を使用しています。
私の問題は、PhantomJS.exe プロセスが 800 MB を超えるメモリ使用量に達することです。なぜこれが起こっているのか理解できません。私の .net exe のメモリ使用量 (PhantomJS.exe を呼び出します) は、全体で約 12 MB にとどまります。私は 1 つのインスタンスのみを使用し、すべての処理を順次実行しているため、私が知る限り、事実上 1 つのウィンドウまたは「タブ」です。
PhantomJS を使用して同様の問題に遭遇した人はいますか?この動作が必要な理由はありますか?