-1

こんにちは言語プログラマー

私はオンラインの自然言語処理を勉強していますが、これまでのところ、POS タグや SRL などを取得するなど、文を解析する方法についてある程度理解しています。私の質問は、このデータをどうするかということです。より正確には、解析された 2 つの異なる文を比較して、それらがどの程度似ているかを確認する方法です。

たとえば、この 2 つの解析済みの文を取得し、それらを比較できるようにしたい

1.

<sentence id="s0" parse_status="success" fom="11.6633">
<cons id="c0" cat="NP" xcat="" head="c1" sem_head="c1" schema="empty_spec_head">
<cons id="c1" cat="NX" xcat="" head="c2" sem_head="c2" schema="head_mod">
<cons id="c2" cat="NX" xcat="" head="c3" sem_head="c3" schema="head_mod">
<cons id="c3" cat="NX" xcat="" head="t0" sem_head="t0">
<tok id="t0" cat="N" pos="NN" base="apartment" lexentry="[D<N.3sg>]" pred="noun_arg0">apartment</tok>
</cons>
<cons id="c4" cat="PP" xcat="" head="c5" sem_head="c5" schema="head_comp">
<cons id="c5" cat="PX" xcat="" head="t1" sem_head="t1">
<tok id="t1" cat="P" pos="IN" base="in" lexentry="N[<P>NP.acc]" pred="prep_arg12" type="noun_mod" arg1="c3" arg2="c6">in</tok>
</cons>
<cons id="c6" cat="NP" xcat="" head="c7" sem_head="c7" schema="empty_spec_head">
<cons id="c7" cat="NX" xcat="" head="c9" sem_head="c9" schema="mod_head">
<cons id="c8" cat="NP" xcat="" head="t2" sem_head="t2">
<tok id="t2" cat="N" pos="NNP" base="tel" lexentry="[D<N.3sg>]-noun_adjective_rule" pred="noun_arg1" type="noun_mod" arg1="c9">Tel</tok>
</cons>
<cons id="c9" cat="NX" xcat="" head="t3" sem_head="t3">
<tok id="t3" cat="N" pos="NNP" base="aviv" lexentry="[D<N.3sg>]" pred="noun_arg0">Aviv</tok>
</cons>
</cons>
</cons>
</cons>
</cons>
<cons id="c10" cat="PP" xcat="" head="c11" sem_head="c11" schema="head_comp">
<cons id="c11" cat="PX" xcat="" head="t4" sem_head="t4">
<tok id="t4" cat="P" pos="IN" base="with" lexentry="N[<P>NP.acc]" pred="prep_arg12" type="noun_mod" arg1="c2" arg2="c12">with</tok>
</cons>
<cons id="c12" cat="NP" xcat="" head="c13" sem_head="c13" schema="empty_spec_head">
<cons id="c13" cat="NX" xcat="" head="c15" sem_head="c15" schema="mod_head">
<cons id="c14" cat="ADJP" xcat="" head="t5" sem_head="t5">
<tok id="t5" cat="ADJ" pos="CD" base="five" lexentry="[<ADJP>]N" pred="adj_arg1" type="noun_mod" arg1="c15">five</tok>
</cons>
<cons id="c15" cat="NX" xcat="" head="t6" sem_head="t6">
<tok id="t6" cat="N" pos="NNS" base="room" lexentry="[D<N.3sg>]-plural_noun_rule" pred="noun_arg0">rooms</tok>
</cons>
</cons>
</cons>
</cons>
</cons>
</cons>
</sentence>

2.

<sentence id="s1" parse_status="success" fom="17.4367">
<cons id="c16" cat="NP" xcat="" head="c17" sem_head="c17" schema="empty_spec_head">
<cons id="c17" cat="NX" xcat="" head="c18" sem_head="c18" schema="head_mod">
<cons id="c18" cat="NX" xcat="" head="t7" sem_head="t7">
<tok id="t7" cat="N" pos="NN" base="apartment" lexentry="[D<N.3sg>]" pred="noun_arg0">apartment</tok>
</cons>
<cons id="c19" cat="PP" xcat="" head="c20" sem_head="c20" schema="head_comp">
<cons id="c20" cat="PX" xcat="" head="t8" sem_head="t8">
<tok id="t8" cat="P" pos="IN" base="with" lexentry="N[<P>NP.acc]" pred="prep_arg12" type="noun_mod" arg1="c18" arg2="c21">with</tok>
</cons>
<cons id="c21" cat="NP" xcat="" head="c22" sem_head="c22" schema="empty_spec_head">
<cons id="c22" cat="NX" xcat="" head="c23" sem_head="c23" schema="head_mod">
<cons id="c23" cat="NX" xcat="" head="c25" sem_head="c25" schema="mod_head">
<cons id="c24" cat="ADJP" xcat="" head="t9" sem_head="t9">
<tok id="t9" cat="ADJ" pos="CD" base="-NUMBER-" lexentry="[<ADJP>]N" pred="adj_arg1" type="noun_mod" arg1="c25">3</tok>
</cons>
<cons id="c25" cat="NX" xcat="" head="t10" sem_head="t10">
<tok id="t10" cat="N" pos="NNS" base="room" lexentry="[D<N.3sg>]-plural_noun_rule" pred="noun_arg0">rooms</tok>
</cons>
</cons>
<cons id="c26" cat="PP" xcat="" head="c27" sem_head="c27" schema="head_comp">
<cons id="c27" cat="PX" xcat="" head="t11" sem_head="t11">
<tok id="t11" cat="P" pos="IN" base="in" lexentry="N[<P>NP.acc]" pred="prep_arg12" type="noun_mod" arg1="c23" arg2="c28">in</tok>
</cons>
<cons id="c28" cat="NP" xcat="" head="c29" sem_head="c29" schema="empty_spec_head">
<cons id="c29" cat="NX" xcat="" head="c31" sem_head="c31" schema="mod_head">
<cons id="c30" cat="NP" xcat="" head="t12" sem_head="t12">
<tok id="t12" cat="N" pos="NNP" base="tel" lexentry="[D<N.3sg>]-noun_adjective_rule" pred="noun_arg1" type="noun_mod" arg1="c31">Tel</tok>
</cons>
<cons id="c31" cat="NX" xcat="" head="t13" sem_head="t13">
<tok id="t13" cat="N" pos="NNP" base="aviv" lexentry="[D<N.3sg>]" pred="noun_arg0">Aviv</tok>
</cons>
</cons>
</cons>
</cons>
</cons>
</cons>
</cons>
</cons>
</cons>
</sentence>

ありがとう

4

2 に答える 2

0

Zhang および Shasha メトリックは、探しているものである可能性があります。このメトリックは、nlp 構文ツリー内の 2 つのツリー間の長さを計算します。ここ (フランス語)を見るか、「ツリーと関連する問題の間の距離を編集するための単純な高速アルゴリズム」の元の出版物を検索できます。

于 2013-08-05T08:46:22.710 に答える
0

分類された文を見つけて、類似した文をクラブしたいと思うと思います。

これには複数の方法でアプローチできます。

  1. タグ付けされたセンテンスに Naive Bayes を使用して、それらを分類します (いくつかのトレーニング データがあり、センテンス カテゴリの数が限られていると仮定します)。

  2. 線形回帰を使用して、同様のプロセスを実行します。タグとタグ間の距離をフィーチャとして含めます。

  3. 統計的な教師なしアプローチが必要な場合は、K-means または同様の手法を使用します。

  4. 言語フィルター モデルを使用して、タグ付けされた文をさまざまなフィルターに通します。(単純に: ステートメント/疑問文またはアクティブ/パッシブなど)。

率直に言って、この問題を解決する方法はたくさんあります。まだ完全には解決していません。しかし、NLP を勉強しているとおっしゃっていたので、これらのアプローチから始めることをお勧めします。

于 2013-08-06T15:06:53.820 に答える