0

PHPCrawlクラスを使用して、Webサイトをスパイダーし、リンクのリストを作成しています。ゆっくりではあるが、すべてうまく機能し、リンクを使用して他のタスクを実行します。

スクリプトを最初に実行すると結果が得られずに完了し、次にスクリプトを実行すると期待どおりに機能するという問題が発生しています。約30%の確率で失敗しています。

最初はこれはネットワークまたはワークステーションの問題だと思いましたが、同じ問題が別のISPを使用する別の場所にある別のマシンで発生します。

他の誰かがこのクラスを使用して同じ問題に遭遇しましたか?

4

1 に答える 1

0

広範なテストの結果、streamTimeout 設定に関連しているように思われることがわかりました。

ここでの問題は、設定が高すぎるとクロールが非常に遅くなることです。connectionTimeout をいじることは、これを少し仲介するようです。

于 2010-10-22T13:28:53.653 に答える