java - ユーザーが照会した情報の検索結果として取得したリンクにアクセスするWebクローラーを作成するにはどうすればよいですか？

Question

ユーザーが照会した情報の検索結果として取得したリンクにアクセスするWebクローラーを作成するにはどうすればよいですか？たとえば、ユーザーが特定の主題についてクエリを実行した場合、クローラーはトップリンクの一部にのみアクセスする必要があります。誰かがそれを達成する方法を教えてもらえますか？

Answer 1

おそらく、 Google のCustom Search APIが最善の策です。無料で、プログラムで操作できるように設計されています。

ただし、あいまいなサイトとやり取りする必要がある場合、またはきめ細かい制御が必要な場合は、HtmlUnitを使用していくつかのクローラーを作成しました。少し冗長ですが、間違いなく機能します。