問題タブ [tfidfvectorizer]

私は見ています：

http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html

それはただ言う：

tokenizer : callable または None (デフォルト) 前処理と n-gram 生成ステップを維持しながら、文字列トークン化ステップをオーバーライドします。アナライザー == '単語' の場合にのみ適用されます。

関数は何を返す必要がありますか? 単語のリスト ? この関数によって返されなければならないデータ構造を示す例はどこかにありますか?

編集:たとえば、独自のカスタムトークナイザー関数を作成している場合、何を返す必要がありますか。

私はいくつかのテキスト分類タスクを行っています。私が観察したことは、(sklearn's からのTfidfVectorizer) tfidf 行列が与えられた場合、ロジスティック回帰モデルは常に MultinomialNB モデルよりも優れているということです。以下は、両方をトレーニングするための私のコードです。

現在 lr_score > mnb_score 常に。tfidf の用語頻度はクラス情報に基づいて計算されないため、MultinomialNB が tfidf 行列をどの程度正確に使用しているか疑問に思っています。LogisticRegression に行ったのと同じ方法で、tfidf 行列を MultinomialNB にフィードしないでください。

TfidfVectorizer更新:との結果の違いを理解していますCountVectorizer。また、sklearn の MultinomialNB.fit() 関数のソース コードを確認したところ、頻度に反してカウントが期待されているようです。これは、以下の私のコメントで言及されているパフォーマンスの向上についても説明します。ただし、どのような状況でも tfidf を MultinomialNB に渡すことが理にかなっているのかどうかはまだ疑問です。sklearn のドキュメントでは、その可能性について簡単に言及されていましたが、詳細についてはあまり言及されていませんでした。

どんなアドバイスでも大歓迎です！

TfidfVectorizer を構築し、それを自分のデータセットに適合させました

tfidf.transform()私は今、複数のスレッドでやりたいと思っています。これは安全ですか？