0

Mechanize を使用して Web サイトにログインし、検索を行っています。必要なリンク/情報を抽出した後、現在のページから次のページに再帰的に移動します。私が疑問に思っているのは、たとえばヘッダー情報に基づいて、「結果が見つかりません」または同様のページがあるかどうかを簡単に判断できる方法があるかどうかです。その場合、「404」または結果のないページのヘッダーをすばやく確認してから戻ることができます。

ドキュメントでそれを見つけることができませんでした。答えはノーです。答えが実際にノーであるかどうか、ここで誰かがもっと明確に言うことができますか?? 前もって感謝します。

(現在、リンクを .read() した後、「結果なし」に対して .find() を実行しています。)

ノート：

1) 「良い」ページのヘッダー情報 (結果付き):

reply: 'HTTP/1.1 200 OK\r\n'
header: Server: nginx
header: Date: Thu, 12 Sep 2013 18:33:10 GMT
header: Content-Type: text/html; charset=utf-8
header: Transfer-Encoding: chunked
header: Connection: close
header: Vary: Accept-Encoding
header: Status: 200 OK
header: X-UA-Compatible: IE=Edge,chrome=1
header: Cache-Control: must-revalidate, private, max-age=0
header: X-Request-Id: b501064808b265fc6e478fa88e622710
header: X-Runtime: 0.478829
header: X-Rack-Cache: miss
header: Content-Encoding: gzip

2) 「悪い」(結果ページなし) からのヘッダー情報

reply: 'HTTP/1.1 200 OK\r\n'
header: Server: nginx
header: Date: Thu, 12 Sep 2013 18:33:11 GMT
header: Content-Type: text/html; charset=utf-8
header: Transfer-Encoding: chunked
header: Connection: close
header: Vary: Accept-Encoding
header: Status: 200 OK
header: X-UA-Compatible: IE=Edge,chrome=1
header: Cache-Control: must-revalidate, private, max-age=0
header: X-Request-Id: 1ae89b2b25ba7983f8a48fa17f7a1798
header: X-Runtime: 0.127865
header: X-Rack-Cache: miss
header: Content-Encoding: gzip
4

1 に答える 1

2

応答ヘッダーはサーバーによって生成されます。独自の「結果なし」パラメーターを追加してそれを解析できます...それ以外の場合は、コンテンツを分析する必要があります。

ヘッダーを使用するように設定している場合、この 2 つの間で確認できる唯一のことは、悪い検索が 4 倍速く返されたことです。経過した応答時間の移動平均を見つけることができるかもしれません。

于 2013-09-12T20:35:27.397 に答える