時々検索ログを見ると、私の検索エンジンの最大のユーザーはgoogle-botであることがわかります。何が得られますか?ナビゲーションから直接アクセスできない可能性のあるコンテンツを探していますか?もしそうなら、どの単語やフレーズを探すべきかをどうやって知るのでしょうか(それらは驚くほど関連性があります)。サイトで最も人気のあるキーワードをチェックしますか?私はここで私自身の質問に答えているように見えることを知っていますが、これは実際には第一原理からそれを解決しているだけです。彼らが何について話しているのかを知っている誰か(つまり私ではない)から聞きたいのですが。
2 に答える
検索フォームのメソッドがpostではなくgetである場合、各検索には独自のURLがあり、他の場所にそれらのURLを投稿している可能性があります。または、それらのURLをリストした(おそらく不注意で)公的にアクセス可能なwebstatsページがある場合、それは検索エンジンが内部検索URLに遭遇するもう1つの一般的な方法です。私が見た3番目の方法は、最近の検索をページに一覧表示するサイトですが、これはより意図的なものです。「MySQLパフォーマンスブログ」はこれを厄介な程度に行うので、グーグルから彼らのサイトを検索すると、探しているものが見つからなかったとしても、何百ページもの同様の検索が得られます。
編集:時々そうなるように見えますが、フォームをGETするだけです:http: //googlewebmastercentral.blogspot.com/2008/04/crawling-through-html-forms.html
Google は、検索ボックスでサイトに出現する単語を使用して、他の方法では見つけられないページを見つけようとします。
Google によると、過去数か月間、「少数」の「質の高い」Web サイトでフォームに記入し、情報を取得してきたという。それらのフォームにどのような言葉が入っていますか?サイト上で発生する単語が自動的に選択され、チェック ボックスとドロップダウン メニューも選択されます。 http://searchengineland.com/google-now-fills-out-forms-crawls-results-13760