これらのトピックについてはかなりの数の投稿がありましたが、私の質問は少し具体的です。いくつかの Web サイトを解析する必要があり、解析が完了したら、データを送信する必要があります。たとえば、Web サイト A が検索タブを提供しているとします。プログラムでデータをフィードする必要があります。結果のページは、ターゲット サイトの更新によって異なる場合があります。そんなクローラーをコーディングしたい。では、これを実現するにはどのツール/言語が最適でしょうか? 私はすでにJavaとCに精通しているので、これらに基づくものは本当に役に立ちます.
質問する
106 次
1 に答える
0
Phantomjsを使用することをお勧めします。完全に無料で、Windows、Linux、Mac がサポートされています。
- インストールは非常に簡単です。
- コマンドラインを使用して実行するのは非常に簡単です。
- コミュニティは非常に大きく、簡単な問題を解決することは簡単です。
- スクリプト言語として JavaScript を使用しているため、Java のバックグラウンドがあれば大丈夫だと思います。
- DOM 構造に慣れる必要があります。まあ、それを知らずにクローラーを書くことはできません (完全に視覚的なソリューションを選択したとしても)。
すべては、クローラーを実行する頻度によって異なります。PhantomJs は長期的なジョブに最適です。1 回限りの解決策を探している場合は、 iMacrosなどの視覚的なものを使用してください。Mozilla 内で拡張機能として使用でき (無料)、有料のスタンドアロン バージョンもあります。
乾杯
于 2013-03-27T22:15:52.123 に答える