以下は、ページをインデックス化するために実行しているコマンドです。
bin/nutch crawl bin/urls -solr http://localhost:8983/solr/ -dir crawl -depth 2 -topN 15
フェッチは非常に迅速に行われますが、LinkDb:adding セグメントと SolrIndexer の手順には多くの時間がかかります。上記のコマンドを繰り返し実行すると時間が長くなります。私の要件は、リンクがすぐに (2 分以内に) 消えるため、できるだけ早くページをインデックスに登録することです。この時間を非常に小さな数字に減らしたいのですが、これを可能にするにはどうすればよいですか?
ページの URL とタイトルのみをインデックスに登録したい場合、インデックス登録の速度は向上しますか?
ありがとう