0

入力データの一部として html ページからの情報を使用してプログラミングするための規律、フレームワーク、またはツール セットはありますか? メタ検索エンジンのようなもの。Webページをどのように解析しますか?

私はJavaまたはflex/flash、またはいくつかの読書へのいくつかのポインタを好みます。

ありがとうございました!

2013 年 2 月 7 日更新

回答ありがとうございます。Webスクレイピングは私が探していた用語でした!

この素晴らしい Java ライブラリを見つけました: http://jsoup.org/この投稿からWeb スクレイピング with Java

フレックス 1 を探しているので、見つけ次第更新します。

4

1 に答える 1

0

あなたの質問は良い答えを得るには少し漠然としていると思います.Java / Flexの経験はありませんが、ほとんどの言語には、問題のリソースへのHTTPリクエストを作成するためのライブラリサポートがあります(そして、おそらく、ある種のHTML/XML を、データを取得できる何らかのデータ構造に解析するためのサポート)。

取得しようとしているものによっては、HTTP 応答で必要なものを単純な文字列検索で検索できる場合があります。これは基本的に、@pablochan が Web スクレイピングに関する wiki ページを提案するときに推奨しているものです。

一部のサービス/サイトは、データをページスクレイピングしようとする試みを混乱させるように設計されており、実際にそのような行為をサービス利用規約の違反としてリストしている可能性があることに注意してください. これに成功しても頻繁に行うと、IP がブロックされたり、そうしないようにするために他の種類のアクションが取られたりすることがあります。

ほとんどの静的サイトにはこのような保護はありませんが、大規模なサービスには十分かもしれません。

于 2013-01-31T17:08:00.173 に答える