hadoop - Map Reduce は検索された文字列に対してどのように機能しますか

Question

Google のような検索エンジンは、Map Reduce に基づいています。実際にはどのように発生するのでしょうか。検索で文字列を指定するとします。その後、何がマッパーに入力され、何がマッパーにキーと値のペアとして出力され、何がレデューサーに入力されますか? ありがとう。

Answer 1

関連する質問: Google はどうしてこんなに速いのですか?

私はかつてグーグルの人と話したことしか知りませんが（正確さを完全に確認することはできません）、彼は基本的に、すべてのWebページに表示されるすべての単語のすべてのインデックスを構築するために何かmap reduceを使用したと言いました. そして、クエリを解決するために、彼らは次のようなものを使用しました: http://en.wikipedia.org/wiki/Distributed_hash_tableつまり、与えられた単語ごとにハッシュを計算し、ネットワーク内のどのコンピューターが情報を持っているかを正確に知ることができます。その単語の検索に関連する (インデックス)。そのため、彼らは要求をそのコンピューターに転送します (また、多くの冗長性を使用します)。おそらく、ほとんどの情報がメモリに格納されます。