htaccess を使用して、www.mysite.com/index.php?id=#のようなわかりやすい URL に書き換えてリダイレクトしていwww.mysite.com/newsます。したがって、すべてのニュース記事はwww.mysite.com/news/article1などと書かれます。
現在、robots.txt でインデックス化する必要のないサーバー上のすべてのディレクトリをブロックしています。私はcmsを使用しているので、これらは/core、/managers、/connectorsなどのディレクトリです。しかし、ディレクトリは実際にはwww.mysite.com/news存在せず、htaccessで書き換えられているため、/coreなどのすべてのディレクトリをブロックします.クローラーが私の Web サイトをインデックスに登録できるようにしますか?
つまり、基本的に私が知りたいのは、クローラーは私のウェブサイトの URL を書き換えた後、そのままの状態で見ることができるかということです。それとも、私のページをインデックス化できるようにするために、/core など、私の cms の他のディレクトリにアクセスする必要がありますか?