solr - Xapian のクローラー/パーサー

Question

一連の Web サイトをクロールし、ページから特定の情報を抽出し、その特定の情報の全文索引を作成する検索エンジンを実装したいと考えています。

Xapian は、検索エンジン ライブラリに適しているように思えます。

Xapian と統合するためのクローラー/パーサーのオプションは何ですか?

Solr は、オープンソースのクローラー/パーサーと統合するために、Xapian よりも優れた選択肢でしょうか?

Answer 1

亜麻はあなたが探しているもののいくつかを提供するかもしれません。

Answer 2

ここで、Xapian と Solr を少し比較します。

しかし、クローラーを作成したい場合は、Nutchをご覧ください。プラグインで拡張できるので、探している情報を分析するプラグインを作成できます。