2

だから私は一種のウェブクローラーであるプログラムを作っています。ページの html をダウンロードし、正規表現を使用して特定のテキストを解析し、リストに追加します。

これを実現するために、非同期の http リクエストを使用しました。GET リクエストは非同期的に送信され、返された html に対して解析操作が実行されます。

私の問題は、単純かどうかはわかりませんが、プログラムがスムーズに実行されないことです。一連のリクエストを送信し、数秒間一時停止してから、解析されたアイテムを一度にインクリメントします (ただし、カウンターはアイテムが追加されるたびにインクリメントするようにプログラムされています)。表示中, 54,55,56,...

初心者で申し訳ありませんが、私はこれらすべてを独学で学び、経験豊富なアドバイスが大いに役立ちます。

ありがとう

4

1 に答える 1

4

それは正しいですね。

タスクの最も遅い部分は、ネットワーク経由でページをダウンロードすることです。

あなたのプログラムは一度に大量のページのダウンロードを開始し、それらが到着するのを待ってから、それらすべてをほぼ瞬時に解析します。

于 2012-05-17T03:14:25.307 に答える