問題タブ [crawler4j]

私はgroovyとgrailsを使ってcrawler4jに取り組んでいます。

src/groovyにBasicCrawler.groovyクラスがあり、ドメイン クラスCrawler.groovyとCrawlerController.groovyというコントローラーがあります。

BasicCrawler.groovyクラスには、url、parentUrl、domainなどのプロパティがほとんどありません。

クロール中にこれらの値をドメイン クラスに渡すことで、これらの値をデータベースに保持したいと考えています。

src/groovy の下のBasicCrawlerクラスでこれを試しました

私のドメインクラスは次のとおりです。

しかし、次のエラーが発生しました。

この後、私は別のアプローチを試みました。私の src/groovy/BasicCrawler.groovy クラスでは、最初にurlプロパティとparentUrlプロパティを宣言してから、データバインディングを使用しました (初心者なので間違っているかもしれません)。

私のCrawler.groovyドメインクラスは次のとおりです。

現在、エラーは表示されていませんが、値はデータベースに保持されていません。バックエンドにはmongodbを使用しています。

params を WebCrawler に渡すことは可能ですか? たとえばWebCrawler.shouldVisit(WebURL url)、実行時にメソッドに新しいルールを渡したり、WebCrawler にフィールドを設定したりしたいとします。出来ますか？

私はクローラー4jを使用してgrailsアプリを開発しています。

これは古い質問であり、このソリューション hereに出会いました。

提供された解決策を試しましたが、別のフェッチャーと mockssl Java ファイルをどこに保管すればよいかわかりません。

また、https://... を含む URL の場合、これら 2 つのクラスがどのように呼び出されるのかわかりません。

前もって感謝します。