26

私の要件は、ニュース記事を取り込み、それらが主題について肯定的か否定的かを判断することです。私は以下に概説するアプローチを取っていますが、NLPがここで役立つかもしれないと読み続けています. 私が読んだすべては、NLP が事実から意見を検出することを示していますが、これは私の場合にはあまり重要ではないと思います。私は2つのことを疑問に思っています：

1) アルゴリズムが機能しないのはなぜですか?また、どうすれば改善できますか? （皮肉はおそらく落とし穴であることは知っていますが、私たちが得るニュースの種類でそれがあまり発生しているとは思いません）

2) NLP はどのように役立ちますか? なぜ使用する必要があるのですか?

私のアルゴリズム的アプローチ (肯定語、否定語、否定語の辞書があります):

1) 記事内の肯定語と否定語の数を数える

2) 肯定語または否定語の 2 語または 3 語で否定語が見つかった場合 (つまり、最高ではない)、スコアを否定します。

3) スコアに、各単語に手動で割り当てられた重みを掛けます。(1.0 から開始)

4) ポジティブとネガティブの合計を合計して、センチメント スコアを取得します。

4

6 に答える 6

33

あなたのアルゴリズムに特に問題があるとは思いません。これはかなり簡単で実用的な方法ですが、間違いを犯す状況がたくさんあります。

  1. あいまいな感情の言葉- 「この製品は非常にうまく機能する」 vs. 「この製品は非常に良い」

  2. 否定の見落とし- 「私は何百万年もの間、この製品を買う価値があるとは決して言いません」

  3. 引用/間接テキスト- 「私の父はこの製品はひどいと言っていますが、私は同意しません」

  4. 比較- 「この製品は、頭の穴と同じくらい役に立ちます」

  5. 些細なこと - 「この製品は見栄えが悪く、動作が遅く、魅力的ではありませんが、市場で機能するのはこれだけです」

例として、ニュース ストーリーではなく製品レビューを使用していますが、おわかりいただけると思います。実際、ニュース記事は議論の両面を示そうとすることが多く、要点を伝えるために特定のスタイルを使用する傾向があるため、おそらく難しいものです。最後の例は、たとえば、意見記事で非常に一般的です。

NLP がこのいずれかを支援する限り、語義の曖昧さの解消(または単に品詞のタグ付け) が (1) に役立ち、構文解析が (2) の長期的な依存関係に役立つ可能性があります。（3）に役立つかもしれません。ただし、すべて研究レベルの作業であり、直接使用できることは何もわかっていません。(4) と (5) はかなり難しく、ここで諦めてしまいます。

私はあなたが持っているアプローチに固執し、出力を注意深く見て、それがあなたが望むことをしているかどうかを確認します. もちろん、その場合、そもそも「感情」の定義を理解してもらいたいという問題が生じます...

于 2010-11-17T09:39:22.290 に答える
5

私の好きな例は「本を読むだけ」です。明確な感情の言葉は含まれておらず、文脈に大きく依存します。それが映画レビューに登場する場合、それは映画が吸う-それはあなたの時間の無駄ですが、本は良いことを意味します。しかし、それが書評にある場合、それは前向きな感情をもたらします。

そして、「これは市場で最小の[携帯]電話です」とはどうでしょうか。90年に戻って、それは大きな賞賛でした。今日、それは小さすぎることを示しているかもしれません。

感情分析の複雑さを理解するために、ここから始めると思います：http ://www.cs.cornell.edu/home/llee/opinion-mining-sentiment-analysis-survey.html （by Lillian Lee ofコーネル）。

于 2010-11-17T20:20:16.767 に答える
2

OpinionFinderシステムとそれを説明している論文が役立つかもしれません。http://www.cs.pitt.edu/mpqa/で、意見分析のための他のリソースとともに入手できます。

それは文書レベルでの極性分類を超えていますが、文レベルで個々の意見を見つけるようにしてください。

于 2011-05-25T15:43:14.830 に答える
2

機械学習の手法の方がおそらく優れています。

Whitelaw、Garg、およびArgamonには、否定を処理するための同様の手法を使用して92％の精度を達成する手法があり、テキスト分類のためのサポートベクターマシンがあります。

于 2010-12-03T20:33:24.863 に答える
2

あなたが言及したすべての質問に対する最良の答えは、Bing Liu教授による「感情分析と意見マイニング」というタイトルの本を読むことだと思います。この本は、センチメント分析の分野で最高の本です。それは素晴らしいです。これを見るだけで、すべての「なぜ」と「どのように」の質問に対する答えが見つかります。

于 2013-09-23T19:09:58.880 に答える
0

SpamAsassinスパムフィルターの仕組みに似た方法を試してみませんか? インテンションマイニングとオピニオンマイニングには大きな違いはありません。

于 2010-11-16T22:53:41.113 に答える