特定のウェブページの内容を特定のウェブサイトにまとめて提供するサービスを構築したいと考えています。
そこで、Google や Bing の API (お金がかかる) に頼る代わりに、この仕事ができる Web クローラーと検索エンジンを探すことを考えました。小規模な場合にのみ必要なので、たとえば Apache Nutch はプロジェクトには大きすぎます。
理想的なソリューションは、Web サイトのリストを取得し、そのコンテンツを取得して、後で検索できるようにデータベースに保存する組み込み可能なライブラリです。助言がありますか？