シード URL からデータを取得し、ページをダウンロードできる基本的なクローラーを実装しました。さらに、指定された深さに達するまで、クローラーを同じシード Web サイトに保持できます。 事前定義されたキーワードの最小しきい値を超えた場合にのみページがダウンロードされるように、クローラーにさらに制限を課すにはどうすればよいですか? shouldvisit() 関数にそのようなメソッドはありますか?
シード URL からデータを取得し、ページをダウンロードできる基本的なクローラーを実装しました。さらに、指定された深さに達するまで、クローラーを同じシード Web サイトに保持できます。 事前定義されたキーワードの最小しきい値を超えた場合にのみページがダウンロードされるように、クローラーにさらに制限を課すにはどうすればよいですか? shouldvisit() 関数にそのようなメソッドはありますか?