0

私はJavaでWebクローラーを開発しています。私はそれに基づいてこのクローラーを開発するための良いプロジェクトを探しています。ただし、Javaで記述されたクローラーは文字通り数百を超えています。私が探しているのは、次のような非常にシンプルなクローラーです。

  • マルチスレッド機能
  • 良好なパフォーマンス
  • 最新のJavaビルドと新しいテクノロジーに基づいて実装されています
  • 良いドキュメント
  • 不必要な機能（膨張）はそれほど多くありません
  • プロジェクトに簡単に統合できる機能
4

1 に答える 1

2

私が探しているのは、かなりシンプルなクローラーです...

あなたは本当にそれを見つけるつもりはありません、クローラーについて簡単なことは何もありません！ケースとポイント、これらの機能（特に最後の箇条書き）を持つことについて簡単なことは何もありません：

  • マルチスレッド機能
  • 良好なパフォーマンス
  • 最新のJavaビルドと新しいテクノロジーに基づいて実装されています
  • 良いドキュメント
  • 不必要な機能（膨張）はそれほど多くありません
  • プロジェクトに簡単に統合できる機能

Nutchは、ほとんどの要件を満たすフル機能のJavaクローラーです：http：//nutch.apache.org/

さらに、この質問を確認することをお勧めします：https ://stackoverflow.com/questions/2495289/what-is-a-good-java-web-crawler-library

于 2012-04-17T20:39:34.300 に答える