問題タブ [ensemble-learning]

私は、 scikit-learn を使用して教師あり学習のマルチクラステキスト分類を実行しているかなり限られたデータ セットを持っています。情報の不足を少し緩和するために、次のことを行いたいと思いました。

1. 分類したいコンテンツからngramを抽出し、コンテンツのユニグラムとマージして分類を行う

2. 投票ベースのアンサンブル分類器を実装 (または既存の実装を使用) して、分類の精度を向上させます。たとえば、多項ベイズと KNN はどちらも、さまざまなクラスで良い結果をもたらすようです。データセット。

最初のステップは些細なことですが、scikit-learn を使用してアンサンブル分類を行う方法についてはあまりわかりません。scikit-learn には、このようなアンサンブル クラスに関するいくつかのエントリがあることに注意しましたが、探しているものとはまったく異なります。

scikit-learn を使用してこれを行う具体的な例を知っている人はいますか?

回帰タスクを解決しようとしています。LassoLARS、SVR、Gradient Tree Boosting の 3 つのモデルが、データのさまざまなサブセットに対して適切に機能していることがわかりました。これら 3 つのモデルすべてを使用して予測を行い、「真の出力」と 3 つのモデルの出力の表を作成すると、モデルの少なくとも 1 つが真の出力に非常に近いことがわかりますが、他の 2 つのモデルは常にそうです。比較的遠いかもしれません。

最小の可能性のあるエラーを計算すると (各テスト例の「最良の」予測子から予測を取得した場合)、モデル単独のエラーよりもはるかに小さいエラーが得られます。そこで、これら 3 つの異なるモデルからの予測を組み合わせて、ある種のアンサンブルを作ろうと考えました。質問は、これを適切に行う方法ですか？私の 3 つのモデルはすべて scikit-learn を使用して構築および調整されていますが、モデルをアンサンブルにパックするために使用できる何らかの方法を提供していますか? ここでの問題は、3 つのモデルすべてから予測を平均するだけではなく、特定の例のプロパティに基づいて重み付けを決定する必要がある重み付けでこれを行いたいことです。

scikit-learn がそのような機能を提供しない場合でも、データ内の各例の各モデルの重み付けを計算するという、このタスクに対処するプロパティを誰かが知っていると便利です。これら 3 つのモデルすべての上に構築された個別のリグレッサーによって実行される可能性があると思います。これは、3 つのモデルのそれぞれに最適な重みを出力しようとしますが、これが最善の方法であるかどうかはわかりません。

https://gist.github.com/zachmayer/5152157から zachmayer のコードを試してみましたが、caretEnsemble コマンドを実行すると、「is(all.models, "caretList") is not TRUE」というエラーが発生しました。すべてのモデルのリストを作成するだけでなく、caretList を使用する必要がありますか? ありがとう。

このようなコードを使用して、sklearn のアンサンブル メソッドの AdaBoostClassifier を使用した予測を確認できます。

今、私はすべての基本推定量の予測（つまり、個々の100基本推定量すべての推定）を見たいと思っています.sklearnでそれは可能ですか？どうすればいいですか？助けてください。事前に感謝します。

私は学部生に共同トレーニングを実装しましたが、今では反復ごとにアンサンブルのアンサンブルを実装する必要があります。

例: 最初の反復では、分類子があり、データはこの分類子によってのみラベル付けされます。2 回目の反復では、分類するアンサンブルを取得します。

共同トレーニングではデータを複数の分類器に分割してこの分類を行うため、最後に与えられたビジョンとは無関係にそれぞれにラベルを付けて投票するか、ビュー間で平均してラベルを付けたいと考えています。

実行に最適な戦略を立てるためのアイデアが必要です。私はWEKAを使用しており、冒頭で述べたようにすでに共同トレーニングを実施しています.

「間違いを許してください、英語を話さないでください」.

コード: http://pastebin.com/Xd8guMub

コード: http://pastebin.com/FL8Y2j0c

ポルトガル語-ブラジルのコードのコメント

スタッカー アンサンブルを作成する必要があります。各分類器から出力された各要約された精度のパーセンテージを新しい分類器と組み合わせますか?

Nベイズ

K-NN (k = 5)

K-NN (k = 10)

決定木

ロジスティック回帰

それらの 5 つのパーセンテージを分類しますか?

または、テーブルのようなものなど、多くの予測の出力を組み合わせる必要がありますか?

この方法の場合、出力が異なるかどうかは重要ですか IE はすべて、true または false または 1 または 2 ではなく、bob または john のいずれかである必要がありますか?

それらを組み合わせるためにどの分類器を使用すればよいですか？

異なる分類器でデータを予測しています。より良い最終結果を得るために、それらの結果をアンサンブルしたいと思います。Rで可能ですか？
まあ言ってみれば：

Rで任意のアンサンブル手法で結果を組み合わせることができますか?どのように?
ありがとう

編集済み:
さまざまなサンプル (私の場合は DNA 染色体) で分類子を実行します。一部のサンプルでは、​​SVM は RF などの他のサンプルよりもうまく機能します。どちらの分類器がうまく機能するかを考慮して、結果をアンサンブルする手法が必要です。
たとえば、出力確率の平均を取り、それらを四捨五入すると、すべての分類器が結果として等しく有効であると見なされます。しかし、SVM がうまく機能した場合、SVM (86% の精度) の結果は 60% の重要性を持ち、RF では 25% (72% の精度)、15% の NN (64% の精度) を持つと考えるべきです。(これらの数値は明確化のための例にすぎません)
とにかくそれを行うことはできますか?

sklearn の「predict_proba()」を使用して、Adaboost 分類器の各推定器のカテゴリに属する​​サンプルの確率を予測しています。

Adaboost は、predict_proba() を次のように実装します。

https://github.com/scikit-learn/scikit-learn/blob/bb39b49/sklearn/ensemble/weight_boosting.py#L733

DecisionTreeClassifier は、Adaboost 分類器の sklearn の基本推定器です。DecisionTreeClassifier は、その predict_proba() を次のように実装します。

https://github.com/scikit-learn/scikit-learn/blob/bb39b49/sklearn/tree/tree.py#L549

Adaboost の predict_proba() が内部的に確率を計算する方法を教えてください。私を助けることができる同じトピックの参照はありますか? お知らせください。前もって感謝します。