6

HTML ページの構造化データを認識するための最適なアルゴリズムは何ですか?

たとえば、Google は電子メール内の自宅/会社の住所を認識し、この住所への地図を提供します。

4

9 に答える 9

11

GATEなどの名前付きエンティティ抽出フレームワークは、一般的な問題の解決に役立つ既知の場所の地名辞典の支援を受けて、場所に関する情報抽出の問題に少なくとも取り組んできました。ページが共通のソースから機械で生成されたものでない限り、正規表現はその仕事に対して少し弱いことに気付くでしょう。

于 2008-12-08T11:59:09.940 に答える
4

ページのテキストだけでなく、適切なマークアップがある場合は、上記の Beautiful Soup の提案を支持します。特に、アドレスタグは、最も簡単に達成できる成果を提供する必要があります。adr microformatも調べてください。最初の 2 つで十分な情報が得られないか、最初の 2 を探すのに必要なデータがない場合にのみ、正規表現にフォールバックします。

于 2008-12-08T12:07:39.080 に答える
3

Google はこの問題に対して 2 段階のアプローチを取っていると思います (少なくとも私はそうします)。まず、かなり一般的な検索パターンを使用して、住所となる可能性のあるすべてのものを選択します。次に、地図データベースを使用してその文字列を検索し、一致するものがあるかどうかを確認します。もしそうなら、それはおそらくアドレスです。そうでなければ、おそらくそうではありません。コードで地図データベースを使用できれば、おそらく作業が楽になります。

住所の地理的位置を制限できない限り、文字列を解析するだけで住所として識別することはほとんど不可能だと思います。これは、世界中で使用されている住所形式が非常に多様であるためです。

于 2008-12-08T11:34:10.787 に答える
3

国際アドレスも処理する必要がある場合は、頭痛の世界になります。国際住所の形式は驚くほど多様です。

于 2008-12-08T09:23:38.397 に答える
2

正規表現は使用しないでください。既存の HTML パーサーを使用します。たとえば、Python ではBeautifulSoupを強くお勧めします。正規表現を使用して HTML 要素を解析したとしても、BeautifulSoup は取得します。

独自の正規表現でそれを行う場合、必要なデータを見つけることについて心配する必要があるだけでなく、無効な HTML などについて心配する必要があり、他の多くの非常に明白でない問題に遭遇する可能性があります..

于 2008-12-08T10:16:13.360 に答える
1

あなたが求めていることは、完璧にしたいのであれば、本当に難しい問題です。ほとんどの場合、単純な正規表現でほぼ正しくなりますが、毎回正確に正しくなる正規表現を作成するのは非常に困難です。多くの奇妙なコーナーケースがあり、いくつかのケースでは明確な答えはありません。私が見たほとんどの Web サイトは、最も単純な URL 以外のすべてを処理するのに非常に悪い仕事をしていました。

正規表現ルートをたどりたい場合は、おそらくhttp://metacpan.org/pod/Regexp::Common::URI::httpのソースコードをチェックするのが最善の策です 。

于 2008-12-08T10:06:34.707 に答える
0

繰り返しますが、正規表現でうまくいくはずです。

住所は多種多様であるため、文字列が住所かどうかは、"(number), (name) Street|Boulevard|Main" などの式でしか推測できません。

テキストで見つかったアドレスをマッピングして、それらがどのように機能するかを確認することを目的としたいくつかの Firefox 拡張機能を調べることを検討できます。

于 2008-12-08T09:56:26.443 に答える
0

この米国の抽出例を確認できます http://code.google.com/p/graph-expression/wiki/USAAddressExtraction

于 2011-05-20T05:23:27.260 に答える