file_exists(URL/robots.txt) を使用して、ランダムに選択された Web サイトにファイルが存在するかどうかを確認しようとしましたが、誤った応答が返されました。
robots.txt ファイルが存在するかどうかを確認するにはどうすればよいですか?
チェックする前にダウンロードを開始したくありません。
fopen() を使用すると、トリックが実行されますか? なぜなら : 成功した場合はファイル ポインタ リソースを返し、エラーが発生した場合は FALSE を返します。
そして、私は次のようなものを置くことができると思います:
$f=@fopen($url,"r");
if($f) ...
私のコード:
http://www1.macys.com/robots.txt ないかもしれない http://www.intend.ro/robots.txt ないかもしれない http://www.emag.ro/robots.txt ないかもしれないあり ます http://www1.bloomingdales.com/robots.txt 多分そこにはありません
try {
if (file_exists($file))
{
echo 'exists'.PHP_EOL;
$curl_tool = new CurlTool();
$content = $curl_tool->fetchContent($file);
//if the file exists on local disk, delete it
if (file_exists(CRAWLER_FILES . 'robots_' . $website_id . '.txt'))
unlink(CRAWLER_FILES . 'robots_' . $website . '.txt');
echo CRAWLER_FILES . 'robots_' . $website_id . '.txt', $content . PHP_EOL;
file_put_contents(CRAWLER_FILES . 'robots_' . $website_id . '.txt', $content);
}
else
{
echo 'maybe it\'s not there'.PHP_EOL;
}
} catch (Exception $e) {
echo 'EXCEPTION ' . $e . PHP_EOL;
}