php - 許可されていないロボットはhtaccessでバイパスできますか？

Question

簡単な質問があります。robots.txtにこれがあるとしましょう：

User-agent: *
Disallow: /

そして、.htaccessでこのようなもの：

RewriteRule ^somepage/.*$ index.php?section=ubberpage&parameter=$0

そしてもちろん、index.phpでは次のようなものです。

$imbaVar = $_GET['section']
// Some splits some whatever to get a specific page

include("pages/theImbaPage.html") // Or php or whatever

ロボットは、スクリプト（）に含まれているそのhtmlの内容を確認できますsite.com/somepageか？つまり...URLはアクセスできない場所を指しています...（これ/somepageは許可されていません）が、それでも有効な場所にリダイレクトされます（index.php）。

score 1 · Accepted Answer

いいえ。ロボットへのアクセスを禁止することにより、ロボットはサイト上のページを閲覧できなくなり、ルールに従っています。

score 1 · Accepted Answer

ロボットがを尊重すると仮定するとrobots.txt、サイト内のどのページもまったく表示できなくなります（使用したと述べました） Disallow: /。

ただし、ロボットがファイルを尊重しない場合robots.txt、リダイレクトはサーバー側で行われるため、ロボットはコンテンツを見ることができます。

2 に答える 2