このテーマを検索しても結果が得られなかったので、質問することを検討します。www.example.com/#!somecontent を使用して、AJAX によって読み込まれたページを「クロール可能」にするオプションがあることは知っています。しかし、「ねえ、ロボット、javascipt を無効にしてください!」というオプション (つまり、メタ タグまたは robots.txt 変数) はありますか?
次の例で使用できます。
1) 膨大な量の JavaScript があり、SEO やボットがクロールする特別なものは何もないオンラインの JavaScript ゲーム (ボットのメモリと時間の節約)
2) ロボット用の PHP、HTML、CSS (メタタグの変更などを含む) を使用してサイトを構築する。次に、AJAX を使用して、クローラーとボットが分析する必要のない追加機能を追加します (たとえば、コンテンツのみをリロードしますが、メタ タグは変更しません)。その場合、ボットはメタ タグとコンテンツを認識し、アンカーのデフォルト アクションを防止し、ユーザーは AJAX 経由でのみコンテンツをリロードします。その場合、メタ タグは標準です。
PS) 問題は次のことではありません: もっとうまくやれるか、別の方法でアプリケーションを再構築できるかです。内容: JavaScript を無効にするボットを提案できますか。