問題タブ [headless-browser]

私は Web 開発の初心者で、アプリのヘッドレス ブラウザを使用して Web ページ (学校の Facebook) をクロールしようとしています。ヘッドレス ブラウザー (または基本的なクロール) をどこから始めればよいかわかりません。また、コード内でヘッドレス ブラウザーを使用してソース コードにアクセスし、それを解析する方法もわかりません。この問題に関するヘルプは非常に役立ちます。ありがとう！

マルチユーザー Web アプリでエンド ツー エンドのテストを実行するには、どのヘッドレス ブラウザーまたは同様のツールを使用できますか? 要件：

• スクリプト作成用の javascript、python、または ruby​​。できればjs.

• 個別の Cookie などを使用して、複数のブラウザーを同時に実行できる必要があります (そのため、phantomjs/casperjs は廃止されました)。

• フル機能の js はブラウザ内でサポートされており、複雑な meteor.js アプリを処理するのに十分です (これは明らかに、zombie.js ???and?ghost.py??? にはありません。

• 理想的には、phantomjs がインスタンス間で状態をブリードするという事実は文書化されていないため、このようなことを自分で行ったはずです。

• これを行う唯一の方法がノード (または python など) の複数のインスタンスを実際に実行することである場合も同様ですが、理想的にはすべてのブラウザーを 1 つのスクリプトから実行できます。

多くの python スクリプトを実行する php スクリプトがあります。Python スクリプトは、pyvirtualdisplay と xvfb を使用するヘッドレス Firefox ブラウザーを利用します。私の問題は、各 python スクリプトが Linux サーバーで新しい Xvfb プロセスを開くことです。したがって、複数のプロセスがスタックし、最終的に /tmp/ スペースが不足します。
私の問題はこれに似ています:
並列処理のための Xvfb 複数ディスプレイ?
常に 1 つの Xvfb サーバー プロセスを開き、すべての python スクリプトでそれを利用したいと考えています。
これが私が使用しているpythonコードです：
#set pyvirtual display
display = Display(visible=0, size=(800, 600))
display.start()