8

すべての主要な検索エンジンの検索結果からサイトが消えてから数か月後、私はついに考えられる理由を見つけました。

WebBugを使用してサーバーヘッダーを調査しました。リクエストがHEADまたはGETの場合の違いを確認してください。

HEAD送信データ：

HEAD / HTTP/1.1
Host: www.attu.it
Connection: close
Accept: */*
User-Agent: WebBug/5.0

HEAD受信データ：

HTTP/1.1 403 Forbidden
Date: Tue, 10 Aug 2010 23:01:00 GMT
Server: Apache/2.2
Connection: close
Content-Type: text/html; charset=iso-8859-1

送信データを取得：

GET / HTTP/1.1
Host: www.attu.it
Connection: close
Accept: */*
User-Agent: WebBug/5.0

GET受信データ：

HTTP/1.1 200 OK
Date: Tue, 10 Aug 2010 23:06:15 GMT
Server: Apache/2.2
Last-Modified: Fri, 08 Jan 2010 08:58:01 GMT
ETag: "671f91b-2d2-47ca362815840"
Accept-Ranges: bytes
Content-Length: 722
Connection: close
Content-Type: text/html

// HTML code here

現在、ブラウザはデフォルトでGETリクエストを送信します（少なくともこれはfirebugが言うことです）。クローラーが代わりにHEADリクエストを送信することは可能ですか？もしそうなら、なぜこのサーバーだけが403で応答し、私が管理している他のサイトの他のサーバーは応答しないのですか？

重要な場合、.htaccessに存在する唯一の行は（クライアントがサーバーへのアクセスを許可したくないため、クライアントが変更した場合を除く）です。

AddType text/x-component .htc

更新
ありがとう@Ryk。FireBugとFiddlerはどちらもGETリクエストを送信し、200（または300）の応答を取得します。予想通り。だから私はそれがサーバーの悪い設定（ホスティングが何百万ものクライアントを持つ大手企業からのものであるため奇妙ですが）か、彼らが.htaccessに置いたもののどちらかだと思います。彼らは私に彼らのアカウントを調べさせなければならないでしょう。

私の質問の2番目の部分は、それがどの検索エンジンにもWebサイトが表示されない原因である可能性があるかどうかでした（site：www.attu.itは結果を提供しません）。何か考えはありますか？

UPDATE 2
いじくり回した後、ルートディレクトリにphpMyAdmin robots-blocking .htaccessがあり、ロボットからのリクエストが403Forbiddenで返送されたことが判明しました。

4

3 に答える 3

1

Fiddler をインストールして、リクエストを注意深く確認することをお勧めします。認証が必要なフォルダにあるページ上のアイコンが原因で 403 が返される場合があります。

Fiddler で良いアイデアが得られます。また、Firefox を試して FireBug アドオンをインストールし、ページのエラーを調べることもできます。

サイトを見ると favicon.ico で 404 が大量に返ってきますが、それとは別に、単純な GET リクエストを実行すると 200 OK が返されますが、HEAD を実行すると 403 も返されます。 .

更新: Apache サーバーの構成である可能性があると思いますが、100% 確実ではありません。http://hc.apache.org/httpclient-3.x/methods/head.html

UPDATE2: このhttp://www.pubbs.net/200811/httpd/17210-usershttpd-how-to-reject-head-request.htmlを読むと、Apache サーバーが HEAD リクエストを拒否するように設定されている可能性があると思います。その場合、403 が返されます。

于 2010-08-10T23:50:57.093 に答える
1

署名付き URL を使用していたため、まさにこの問題が発生しました。

署名付きの各 URL は、1 つのメソッド (GET や HEAD など) にのみ有効です。複数の方法を使用する場合は、複数の URL が必要になります。

于 2013-12-16T21:35:04.473 に答える
1

一部の管理者は httpd.conf に書き込みます

<Limit PUT DELETE COPY MOVE>
オーダー拒否、許可
すべて
から拒否 10.0から許可
</Limit>

<LimitExcept PUT DELETE COPY MOVE>
注文拒否、
すべてからの拒否を許可
</LimitExcept>

これにより、HEAD リクエストに対して "Forbidden" が生成されます。これを確認する必要があります。

于 2011-09-14T08:03:51.033 に答える