私たちのウェブサイトは約 15 の言語に翻訳されており、さらに多くの言語が編集者から定期的に寄せられています。
URL は次のように構成されています。
SiteName.Company.com/{LCID}/Folder1/Folder2/
当社は、検索エンジンからサブフォルダー/ページを非表示にしたいと考えています。
LCID は、EN-US から ZH-HANS までのいずれかです。そして、新しい言語が追加されるたびにロボット ファイルを更新する必要がないソリューションを探しています。
ワイルドカード エントリを作成したり、パスに関係なく単一のフォルダー名を除外したりできますか?
IE: companyinfo.nokia.com/en-us/aboutus/darknews/ Google にダークニュース以外のすべてをクロールしてもらいたい (/darknews/ELOPSellsOut または /darknews/3210revival)
これは可能ですか?