web-crawler - MozMill を使用したクローラー

Question

初心者向けの質問があります: MozMill を使用してクローラー (~1000 Web ページ) を作成したいのですが、多くの場合、Web サイトで一部の要素の読み込みに問題が発生し、ページが読み込まれません。--> waitForPageLoad() メソッドがクローラーを停止させる方法を教えてください。

Answer 1

これは、メソッドの実行が完了するまで、現在実行中のスレッドがブロックされることを意味します。アプリケーションのブロックを停止するには、次の 2 つの方法があります。

1. タイムアウトを指定します。
2. 複数のスレッドを実行します。

waitForPageLoad に関するドキュメントは、タイムアウト値があることを示しているため、タイムアウトを適切な値に設定すると、ページが読み込まれるかタイムアウトが期限切れになるとすぐに関数が戻ります。

void waitForPageLoad(
  in DOMDocument document,
  in int timeout,
  in int interval
); 

2 番目のオプションは、複数のスレッドを実行することです。これは、とにかく有益な場合があります。各スレッドは、ページをロードして処理し、(ページのキューから) ロードする別のページを選択するタスクを実行します。