Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
ロボットから解析する必要があるホームページ(www.site.com)を除いて、すべてのサイトページをすべてのスパイダーロボットに非表示にする必要があります。
誰かが私がそれをどのように行うことができるか知っていますか?
タグにインデックスを付けたくないすべてのページに追加<meta name="robots" content="noindex" />
<meta name="robots" content="noindex" />
またはrobots.txt、ドキュメントルートに作成して、次のようなものを配置することもできます。
robots.txt
User-agent: * Allow: /$ Disallow: /*