Open Search Server http://www.open-search-server.com/を使用して、本番レベルでWeb検索エンジンを作成したいと思います。検索エンジンを作成するための他の良い無料ソフトウェアはありますか？何百万ものウェブサイトをクロールしたい。
1653 次
2 に答える
4
（開示：この投稿の作者は、ここに記載されているWebサイト/製品と提携しています）
OpenSearchServerはLuceneに基づいています。さらに、数百万のページにインデックスを付けることができる強力なWebクローラーが含まれています。私はこのソフトウェアの創設者です。何千ものWebサイトにインデックスを付けるプロジェクトで使用しています。
ただし、何百万ものWebサイトのインデックスを作成することは別の話です。分散インデックスを作成するには、クロールを複数のサーバーに分散させる必要があります。
次に、サーバーの別のプールを使用して、ユーザーからの検索要求を処理します。OpenSearchServerのいくつかのインスタンスを使用してそれを行うことが可能です。
選択するソフトウェアが何であれ、ハードウェア、特にストレージ部分を慎重に選択する必要があります。大きなインデックスでは、検索クエリのパフォーマンスはストレージのパフォーマンスに関連しています。大規模なRAIDプールまたはSSDディスクは大歓迎です。
于 2012-04-06T14:49:59.483 に答える