問題タブ [ensemble-learning]

基本モデルの出力のみをトレーニングする混合モデルを作成する方法を学ぼうとしています。(Johns Hopkins DataScience コースから) オンラインで見つかった提案に従って、私が予測するのと同じラベル付けされたテスト データでモデルをトレーニングできるという些細なケースでは、これをうまく行うことができます。

理論的には、プロセスは比較的単純です。

1. ベースモデルの構築
2. モデルごとに、テスト データで予測する
3. newDF で予測を結合し、testingData からのラベル付けされた結果を追加の列として含めます。
4. newDF で結合された、または「メタ」モデルをトレーニングします。このモデルは、次のように「言う」ことを学習する必要があります。
5. 検証データに対して手順 2 と 3 を繰り返します
6. 結合モデルを使用して、検証データの最終的な予測を行います。

以下に、機能するプロセスを示します。

ただし、以下のコードは、結合されたモデルが新しい予測を生成していないことを示しているようです。トレーニング情報をリサイクルしているだけです。機能するコード (上) と機能しないコード (下) の具体的な違いは、前者は同じサイズのラベル付きデータフレームで効果的にトレーニングおよび予測するのに対し、後者は 1 サイズの DF でトレーニングし、予測することです。別のサイズのラベルのない DF。

単純な概念が欠けていると確信しています。それが何であるかはわかりません。

R で H2O を使用してロジスティック回帰を使用してランダム フォレストをアンサンブルしようとしています。ただし、次のコードにエラー メッセージが表示されます。

どうやら私のパラメーターは正しく与えられていますが、ご覧のとおり、メッセージは次のとおりh2o.cbind accepts only of H2OFrame objects appearsです。エラーの原因は何ですか?

XGBoost を使用して実験を行っています。反復回数を 1000 に設定すると、妥当な結果が得られます。

私が何か違うことをしようとしたよりも：

1000回の反復を実行する代わりに、100回の反復を実行したいと思います。これを10回繰り返します（合計でも1000回の反復）。この 10 ステップの間に、target_learn = target_learn - target_fitted (前のステップから) をセットアップしました。

そして、target_fitted = target_fitted + 予測よりも

Target_fitted 予測は、すべてのデータセットに対するテスト セットのクロス検証によって得られます。

異なる結果が得られました - 非常に精度が悪いです。

200回実行された5回の反復のみを実行するよりもはるかに...さらに悪い..

私がこれをやろうとしている理由は、反復中に学習マトリックスを変更したいからです (少し繰り返し何かをしようとしています)。

結果が異なる理由は何ですか...各ステップの最初の反復は何か違うように思われるので、モデルでこの反復を何度も行っているため、精度が低下しています...

他のパラメータは同じです..

または多分私は何かを完全に見逃しています..？どうも

Rstudio 内からhttp://learn.h2o.ai/content/tutorials/ensembles-stacking/index.htmlにあるH2OEnsemble で例を実行しようとすると、次のエラーが発生します。

値 [3L] のエラー: 引数「training_frame」は有効な H2O H2OFrame または ID でなければなりません

アンサンブルを定義した後

h2o両方の最新バージョンをインストールしましたh2oEnsembleが、問題は残ります。ここで、「h2o.cbind」が H2OFrame オブジェクトのみを受け入れることを読みました-Rの命名規則はh2o時間の経過とともに変更されましたが、両方の最新バージョンをインストールすることで、これはもはや問題ではないと思います。

助言がありますか？

私は決定木の初心者なので、これらは些細な質問かもしれません。

決定木:

1. scikit doc ( http://scikit-learn.org/stable/modules/tree.html ) に従って、「predict_proba」関数は各クラスの確率を返します。これは、リーフ内の同じクラスのトレーニング サンプルの割合です。それは正確にはどういう意味ですか。

ランダム フォレスト分類子:

1. ランダム フォレスト分類器で置換 (ブートストラップ) を使用してサンプルを取得する利点は何ですか。貼り付けよりも優れている点、つまり、データセットのランダムなサブセットを取得できる点 ( http://scikit-learn.org/stable/modules/ensemble.html )
2. scikit のランダム フォレスト分類子には、" bootstrap_features" というパラメーターがあります (機能は置換の有無にかかわらず描画されます)。機能を置換で描画するとは、正確にはどういう意味ですか。私の理解によると、ツリーを成長させている間、同じ機能を再度使用することはできません。では、機能を置き換えるとは正確にはどういう意味ですか。
3. ランダム フォレスト分類子から変数の重要性を学習するための背後にある直感は何ですか。

ランダム フォレストまたは条件付きランダム フォレストの単一ツリーの変数の重要度を計算する方法を R で見つけようとしています。
良い出発点は、ツリーrpart:::importanceの変数の重要度を計算するコマンドです。rpart

このrandomForest::getTreeコマンドは、オブジェクトからツリーの構造を抽出する標準ツールですが、次のrandomForestものが返されますdata.frame。

解決策は、コマンドを使用してオブジェクトas.rpartを強制tree1することです。rpart残念ながら、どの R パッケージでもこのコマンドを認識していません。

partyパッケージを使用すると、同様の問題が見つかりました。このvarimpコマンドcforestは、単一のツリーではなく、オブジェクトに対して機能します。

どんな助けでも大歓迎です。

現在、サポート ベクター マシンを使用して、特定の人口統計データからユーザーが購入するアイテムを予測しています。データセットには、特定の年齢層のユーザーが各アイテムを購入した人数も含まれています。それは次のように見えました：

これをトレーニング データに組み込む方法がわかりません。これを組み込む唯一の方法は、ユーザーがアイテムを購入する一連の確率値を含めることですが、これは非常に扱いにくいものです。私が持っていた別のアイデアは、アンサンブル学習法を使用し、svm を単純ベイズ分類器と組み合わせるというものでした。モデルを構築するためにsklearnを使用しています。

感情分析のランダム フォレスト アルゴリズムを使用してテキストを分類する機能として単語を使用するにはどうすればよいですか? 私は特徴として単語を使用していますが、ランダム フォレストは数値を使用していますが、ここで行き詰まっています。

私は実装された 2 つのアンサンブル手法を持っていbaggingますadaboosting。

私のグリッド:

私の変数:

私の袋詰め：

私のアダブースト：

私の質問:

1. 実装が正しいかどうかアドバイスをお願いします。
2. モデルのパフォーマンスは、単一の学習者と同じか、それよりも悪いです。なぜそれが起こるのですか？私は何を間違っていますか？

どうもありがとうございます！