371

ブラウザの自動テスト スーツとスクレイピングが可能なヘッドレス ブラウザ プラットフォームの可能なソリューションのリストを掲載しようとしています。

ブラウザのテスト / スクレイピング:

  • Selenium -ブラウザーの自動化における多言語フラグシップ、Python、Ruby、JavaScript、C#、Haskell などのバインディング、Firefox 用の IDE (拡張機能として) により、テストの展開を高速化します。サーバーとして機能し、多くの機能を備えています。

ジャバスクリプト

  • PhantomJS -画面キャプチャと自動化によるヘッドレス テストであるJavaScriptは、 Webkitを使用します。バージョン 1.8 以降、Selenium の WebDriver API が実装されているため、任意の WebDriver バインディングを使用でき、テストは Selenium と互換性があります。
  • SlimerJS - PhantomJS と同様、 WebKitの代わりにGecko (Firefox) を使用
  • CasperJS - PhantomJS と SlimerJS の両方で構築されたJavaScriptには追加機能があります
  • Ghost Driver - PhantomJSのWebDriver Wire ProtocolのJavaScript実装。
  • 新しい PhantomCSS - CSS 回帰テスト。PhantomJS とResemble.jsを使用して視覚回帰テストを自動化するための CasperJS モジュール。
  • 新しい WebdriverCSS -視覚的な回帰テストを自動化するためのWebdriver.ioのプラグイン
  • 新しい PhantomFlow - テストを通じてユーザー フローを記述および視覚化します。Web ユーザー インターフェイス テストへの実験的アプローチ。
  • 新しい trifleJS - Internet Explorer エンジンを使用するように PhantomJS API を移植します。
  • 新しい CasperJS IDE (商用)

NODE.JS

  • Node-phantom - PhantomJSとnode.jsの間のギャップを埋める
  • WebDriverJs - Selenium チームによる node.js の Selenium WebDriver バインディング
  • WD.js - WebDriver/Selenium 2 のノード モジュール
  • yiewd - 最新の Harmony ジェネレーターを使用した WD.js ラッパー! yieldでコールバック ピラミッドを取り除く
  • ZombieJs - node.jsを使用した非常に高速なヘッドレス フルスタック テスト
  • NightwatchJs - Selenium Webdriver を使用した Node JS ベースのテストソリューション
  • Chimera - Chimera: phantomJS が行うすべてのことを実行できますが、完全な JS 環境で
  • Dalek.js - Selenium Webdriver を介した JavaScript による自動クロスブラウザ テスト
  • Webdriver.io - 定義済みの 50 以上のアクションを使用した WebDriver バインディングのより優れた実装
  • Nightmare - 高レベル API を備えた電子ブリッジ.
  • jsdom - Web スクレイピング向けに調整されています. Node.js に実装された非常に軽量な DOM で、javascript を使用したページをサポートします。
  • 新しい Puppeteer - Chrome または Chromium を制御するための高レベル API を提供するノード ライブラリ。Puppeteer はデフォルトでヘッドレスで実行されます。

Web スクレイピング / マイニング

  • Scrapy - Python、主にスクレイパー/マイナー - 高速で十分に文書化されており、Django Dynamic Sc​​raper とリンクしてナイスなマイニング展開を行うか、Scrapy Cloudを PaaS (サーバーレス) 展開に使用し、ターミナルまたはサーバーのスタンドアロン プロセスで動作します。 、 Twistedの上に構築されたCeleryで使用できます
  • Snailer -まだテストされていないnode.jsモジュール。
  • Node-Crawler -まだテストされていないnode.jsモジュール。

オンラインツール

自動化のための Android ツール

関連リンクとリソース

質問:

  • 実際に機能し、文書化されている純粋な Node.js ソリューションまたは Nodejs から PhanthomJS/CasperJS モジュールはありますか?

回答: Chimeraはその方向に進んでいるようです。Chimera をチェックしてください。

  • Selenium よりも簡単に JavaScript を挿入できる他のソリューションはありますか?

  • 純粋なルビーソリューションを知っていますか?

回答: ruby​​ ベースのソリューションで rjk によって作成されたリストを確認してください。

  • 関連する技術やソリューションを知っていますか?

この質問を自由に編集して、必要に応じてコンテンツを追加してください。貢献していただきありがとうございます！

4

3 に答える 3

35

Ruby が好きなら、次のことも試してみてください。

また、ノコギリ宝石はスクレイピングに使用できます。

のこぎりをスクレイピングに活かす方法の専用本がpackt出版から出ています

于 2013-09-07T00:11:50.007 に答える
7

JS ベースの Selenium の一種にDalek.jsがあります。自動化されたフロントエンド テストを目的とするだけでなく、スクリーンショットを作成することもできます。すべての重要なブラウザー用の Web ドライバーが含まれています。残念ながら、これらの Web ドライバーは改善する価値があるようです (Firefox に「バグがある」とは言いません)。

于 2014-02-27T16:23:38.743 に答える