python - 感情分析に関する質問

Question

感情分析に関して、助けが必要な質問があります。

現在、Twitterの検索APIを介して収集したツイートがたくさんあります。検索用語を使用したので、見たいサブジェクトまたはエンティティ（人名）がわかります。他の人がこれらの人々についてどのように感じているか知りたいです。

手始めに、既知の価数/感情スコアを持つ英語の単語のリストをダウンロードし、ツイートでのこれらの単語の可用性に基づいて感情（+/-）を計算しました。問題は、感情がこのように計算されていることです。私は実際には、その人についてではなく、ツイートのトーンに注目しています。

たとえば、私はこのツイートを持っています：

"lol... Person A is a joke. lmao!"

メッセージは明らかにポジティブなトーンですが、Aさんはネガティブになるはずです。

感情分析を改善するために、単語リストの否定と修飾子を考慮に入れることができます。しかし、代わりにメッセージの件名（および場合によっては皮肉）を調べるために、感情分析をどのように正確に取得できますか？

誰かが私をいくつかのリソースに向けることができれば素晴らしいと思います。

Answer 1

AI分野の研究者からの回答を待っている間、私はあなたが迅速に何ができるかについてあなたにいくつかの手がかりを与えます。

このトピックには自然言語処理、機械学習、さらには心理学の知識が必要ですが、必死であるか、この分野で行われている研究の質に信頼がない場合を除いて、最初から始める必要はありません。

感情分析への可能なアプローチの1つは、教師あり学習の問題として扱うことです。ここでは、人間が作成した注釈（後でそれについて）を含む小さなトレーニングコーパスと、アプローチ/システムのパフォーマンスをテストするテストコーパスがあります。 。トレーニングには、SVM、HMMなどの分類器が必要になりますが、単純にしてください。私は二項分類から始めます：良い、悪い。ポジティブからネガティブまでの意見の範囲の連続スペクトルに対しても同じことができます。つまり、グーグルのように、最も価値のある結果が一番上に来るランキングを取得することができます。

開始チェックlibsvm分類子の場合、分類{good、bad}と回帰（ランク付け）の両方を実行できます。注釈の品質は、得られる結果に大きな影響を与えますが、どこから取得するのでしょうか。

レストランを扱った感情分析に関するプロジェクトを1つ見つけました。データとコードの両方があるため、自然言語から特徴を抽出した方法と、分類または回帰で高得点を獲得した特徴を確認できます。コーパスは、最近訪れたレストランについての顧客の意見と、食事、サービス、または雰囲気についてのフィードバックで構成されています。彼らの意見と数値の世界とのつながりは、彼らがレストランに与えた星の数で表されます。あるサイトには自然言語があり、別のサイトにはレストランの料金があります。

この例を見ると、述べられている問題に対して独自のアプローチを考案できます。nltkも見てください。nltkを使用すると、品詞のタグ付けを行うことができ、運が良ければ名前も取得できます。それが済んだら、分類子に機能を追加して、n語以内にスコアを割り当てる（n-gramをスキップ）、意見を表す単語がある場合（レストランのコーパスを見る）、またはすでに持っている重みを使用することができますが、それは重みを学ぶために分類器に頼るのが最善です、それが彼の仕事です。

Answer 2

技術の現状では、これは不可能です。

英語（およびその他の言語）は非常に複雑であり、プログラムでまだ「解析」することはできません。なんで？すべてが特別な場合でなければならないからです。誰かがジョークであると言うことは、ジョークの特殊なケースであり、これはプログラムのもう1つの例外です。エトセトラなど

良い例（ScienceFrictionがSOのどこかに投稿）：

同様に、「予測不可能」という感情の言葉は、スリラーの文脈では肯定的である可能性がありますが、トヨタの休憩システムを説明する場合は否定的です。

あなたがこの主題にあなたの人生の+/-40年を費やすことをいとわないなら、先に進んでください、それは大いに感謝されます:)

Answer 3

私はナイトクラッカーが言ったことに完全には同意しません。難しい問題だと思いますが、解決に向けて順調に進んでいます。

たとえば、「品詞」は、文の主語、動詞、目的語を理解するのに役立ちます。また、「n-grams」は、トヨタとスリラーの例でコンテキストを理解するのに役立つ場合があります。TagHelperToolsを見てください。wekaの上に構築され、品詞とn-gramのタグ付けを提供します。

それでも、OPが望む結果を得るのは難しいですが、40年はかかりません。