java - どうすればウェブサイトをスクレイプできますか？

Question

RSSフィードを解析する方法は知っていますが、記事を読むにはどうすればよいですか？Webサイトをスクレイプする必要がありますか？または、Javaで記事を解析するための代替手段はありますか？

前もって感謝します

編集：私はjSoupを使用することにしました。

Answer 1

RSSフィードには（おそらく）記事へのリンクであるURLが含まれているので、（おそらく）「読む」という意味に要約されます。

• 単にそれらをフェッチする必要がある場合は、URL.getInputStreamまたは他のHTTPクライアントライブラリを使用してください。

• エンドユーザーが読めるようにニュース記事のページを表示する場合は、ネイティブブラウザでURLを開くだけです。

• 記事のテキストを抽出する場合は、適切なHTMLパーサーを使用するか、（blech！）HTML構造を無視するkludgeyテキストパターン認識を使用してHTMLを解析する必要があります。