検索エンジン (または同様の Web サービス) は、フラット ファイルおよび nosql データベースを使用します。Inverted Index の構造は多対多の関係より単純ですが、後者の関係で処理する方が効率的です。数十億の Web ページと数百万のキーワードに対して 2 つのテーブルが必要です。5,000 万行のテーブルをテストしました。mysql の速度は BerkeleyDB の速度に匹敵します。
大規模な mysql データベースを操作する際の問題は、ALTER TABLE などを扱うときに発生すると思います (ここでは当てはまりません)。このパフォーマンスは、mysql が非常に優れている読み取り集中型です。SELECT で行を読み取るとき、数行のテーブルと数百万行のテーブルの間に大きな違いは見つかりませんでした。数十億の行がある場合は異なりますか?
注: Google や Bing (または全文検索などの高度な機能) を意味するのではなく、概念について説明しています。