solr - NCrawler を使用して増分クロールを実行する

Question

SOLR で NCrawler を使用する場合、増分クロールとインデックス作成を実行する方法はありますか? クローラーがクロールするたびに完全なデータを取得するのは望ましくありません。クロールをインクリメンタルにする方法はありますか?

前もって感謝します。

Answer 1

このためにNCrawlerに組み込まれているものはありません。これを処理するには、独自の処理を作成する必要があります。ただし、拡張可能なIPipelineStepメカニズムを使用すると、クロールの周囲に必要なプロセスを作成できます。たとえば、訪問した各URLをページコンテンツのハッシュとともにデータベースに保存して、ページがいつ変更されるかを判断し、変更されたページのみをインデックスに処理することができます。