dart - Dart で書かれた Web クローラー

Question

Dart で Web Crawler を簡単に作成する方法はありますか? 基本的に、AJAX および非 AJAX サイトをクロールし、各ページからいくつかの情報を収集したいと考えています。html5lib はそれを達成するためのオプションですか?

前もって感謝します！ラビンドラ

Answer 1

Dart でビルドされた Web クローラー ライブラリについては知りません。ただし、すべてのピースが存在する必要があります。Dart VM は HTTP リソースに接続でき、HTML5Lib を使用してページを解析できます。

AJAX のクロールには、JavaScript インタープリターが必要です。Dart で書かれた JavaScript インタープリターについては知りませんが、ヘッドレス Web ブラウザー (DumpRenderTree など) を使用できる可能性があります。