問題タブ [apify]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

165 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
1234 参照

web-scraping - incapsula で保護された Web サイトをスクレイピングするには?

https://www.genecards.org/cgi-bin/carddisp.pl?gene=ZSCAN22

上記の Web ページで をクリックSee all 33すると、次の GET リクエストが Chrome DevTools で送信されることがわかります。

https://www.genecards.org/gene/api/data/Enhancers?geneSymbol=ZSCAN22

直接アクセスはブロックされます。

人形遣いを使ってみました。puppeteer で「See all 33」をクリックすることはできますが、結果の HTML ファイルを解析する必要があります。から直接結果を取得するのが最善https://www.genecards.org/gene/api/data/Enhancers?geneSymbol=ZSCAN22です。puppeteerで「See all 33」をクリックした後の入手方法がわかりません。

apify が役立つかどうかはわかりません。

どなたか剥がし方教えて頂けないでしょうか？

0 投票する
1 に答える
899 参照

apify - プロキシ ローテーションに関する質問

PuppeteerCrawler を使用してクローラー アクトを開発しました。そして最大。同時実行性 1 で、いくつか質問があります。

  1. プロキシ ローテーションはデフォルトで有効になっていますか、それとも有効にする必要がありますか?またその方法は?
  2. プロキシ ローテーションがアクティブな場合、どのように動作していることを確認できますか? たとえば、使用されている IP はどこで取得できますか?
  3. 新しいクローラーが作成された場合、または新しいタブが開かれた場合、プロキシ ローテーションはいつトリガーされますか?

敬具、Wulfgääng


12345678910