私は、iFastnet ホスティング サービスを利用する Byethost を利用する無料のサイトを持っています。しばらくの間、何らかの理由でサイトのどの側面も取得できないため、私のサイトは Google によって「インデックス解除」されました。どの Web ブラウザーでも問題なく自分のサイトにアクセスでき、サイトのコードを変更していません。私の robots.txt は
User-agent: *
Allow: /
奇妙なことに、Google 構造化データ ツールはどのページも取得できますが、Google クローラーの他のすべての側面はサイトからリソースを取得できません。
たとえば、Google で robots.txt をテストすると、次のように表示されます。
You have a robots.txt file that we are currently unable to fetch. In such cases we stop crawling your site until we get hold of a robots.txt, or fall back to the last known good robots.txt file. Learn more.
したがって、サーバーに到達して robots.txt リソースをダウンロードする前に、Google がブロックされていることは明らかです。
コンピューターからサイトを cURL すると、403 エラーが発生します。しかし、プライベート サーバーでサイトのコピーを cURL しようとすると、問題なくページが返されます。確かにこれは Google の問題に関連しているに違いありません。
しかし、私は .htaccess や IP ブラックリストなどのセキュリティ機能を有効にしていないので、非常に混乱しています。
byehost を使用した私の無料プランには、プレミアム機能であるため、cloudflare も含まれていません。
これらの 403 エラーが発生する理由について、誰か洞察を提供できますか? これは、Google がサイトにアクセスできなくなったのと同じ理由ですか? どうすればこれを修正できますか?
ありがとうございました