Webスクレイピングツールの構築を開始するための最良の（そして最短の）方法は何でしょうか。これは、ほぼすべてのタイプのWebサイトで機能し、それらのWebサイトをデータベースに保存して取得できる柔軟性を備えています。
「グーグル検索」が検索を行う前にすべてのウェブサイトをサーバーにキャッシュする「グーグル検索」に似たものを構築したいと思います。
これは私の研究プロジェクトの構成要素の1つです。
私の仕事を簡単にするオープンソースプロジェクトがすでにあるかどうか教えてください。
私はこれを構築するためにJavaを好みます。