python - Scikit-Learn CountVectorizer を使用して、テキスト コーパスでの発生に従って語彙内の単語を一覧表示する

Question

CountVectorizerのいくつかのドキュメントにを取り付けましたscikit-learn。ストップワードを選択するために、テキストコーパス内のすべての用語とそれに対応する頻度を確認したいと思います。例えば

'and' 123 times, 'to' 100 times, 'for' 90 times, ... and so on

このための組み込み関数はありますか？

Answer 1

cvがあなたでCountVectorizer、Xがベクトル化されたコーパスの場合、

zip(cv.get_feature_names(),
    np.asarray(X.sum(axis=0)).ravel())

が抽出(term, frequency)したコーパス内の個別の用語ごとにペアのリストを返します。CountVectorizer

(ちょっとしたasarray+ravelダンスは、 の癖を回避するために必要ですscipy.sparse。)