問題タブ [textblob]

文字列を自然言語処理モジュールの一部であるTextBlobに変換する Python コマンド ライン ユーティリティを作成しています。モジュールのインポートは非​​常に遅く、私のシステムでは約 300 ミリ秒です。高速化のために、最初に関数が呼び出されたときにのみテキストを TextBlob に変換するメモ化関数を作成しました。重要なのは、同じテキストに対してスクリプトを 2 回実行する場合、TextBlob を再インポートして BLOB を再計算するのではなく、キャッシュから取得することを避けたいということです。これですべて完了し、正常に動作しますが、何らかの理由で関数がまだ非常に遅いことを除きます。実際、以前と同じくらい遅いです。これは、関数がメモ化されていて、メモ化された関数内で import ステートメントが発生しているにもかかわらず、モジュールが再インポートされているためだと思います。

ここでの目標は、次のコードを修正して、結果を再計算する必要がないことを前提として、メモ化された実行が必要なだけ高速になるようにすることです。

コア コードの最小限の例を次に示します。

そして、メモ化デコレータは次のとおりです。

そして、これはメモ化が現在時間を節約しないことのデモンストレーションです:

これは、関数が正しくメモ化されている場合でも発生します (メモ化された関数内に配置された print ステートメントは、スクリプトが最初に実行されたときにのみ出力を提供します)。

役に立つ場合に備えて、すべてを GitHub Gistにまとめました。

CSV ファイルからトレーニング セットを読み込んで、Textblob で分類子をトレーニングしようとしています。CSV のテキストは UTF-8 である必要があります。コードを実行しようとすると:

次のエラーが表示されます。

ただし、Texblob は UTF-8 を使用して CSV をエンコードしているようです (ここにある CSV オープナーのソース コードを調べました)。

だから、なぜこのエラーが発生するのか本当に理解できません。これを回避するための助けはありますか？

上記のコードは、NaiveBayesClassifier を使用して、Python を使用してテキストを分類するためのものです。同様に、MaxEntClassifier、DecisionTreeClassifier を使用しました。今、私はpythonで分類するために言及したもの以外に分類がありますか知りたいです。私にお知らせください！！！

ドイツ語で書かれたテキストの感情を分析したい。英語でこれを行う方法については多くのチュートリアルを見つけましたが、さまざまな言語に適用する方法については見つかりませんでした。

Python ライブラリを使用して、TextBlobまず文章を英語に翻訳し、次に感情分析を行うという考えがありますが、それがこのタスクを解決する最善の方法であるかどうかはわかりません。

または、このタスクを解決する他の方法はありますか?

テキスト ファイル入力で textBlob を使用しようとしています。

私がオンラインで見つけたすべての例は、この意味でのインプットでした:

私はこれを試しました：

私が試したコードは機能しませんでした。

スポーツ、災害、テクノロジーなど、さまざまなドメインのニュース関連のツイートのセンチメントを分析するアプリケーションを構築しています。Textblob をデフォルト モード (PatternAnalyzer) で使用しています。ドメインが異なっていても、それは良い感情をもたらしますか? また、そのパフォーマンスをどのように評価できますか? それとも、ドメインごとに独自のトレーニング データを提供し、分類子をトレーニングする方がよいでしょうか?

TextBlob の NaiveBayesClassifier 関数を使用していくつかのフレーズを分類していますが、現時点では問題なく動作しています。

私の問題は、関数がテーブル テストでどのように機能するかを説明する必要があることです。TextBlob の NaiveBayesClassifier が 1 つのフレーズを分類するためにどのように機能し、「prob_classify(text)」関数が生成する確率数を取得する方法は?

http://textblob.readthedocs.org/en/latest/classifiers.htmlを使用して、この機能について学習しました。