問題タブ [coefficients]

(1) 特定の基準で回帰を何度もループします。（2）各回帰から特定の係数を保存する。次に例を示します。

私が気にするのは、mpgここで言う 1 つの予測変数だけです。各結果からの係数をmpg1 つの独立したファイル (任意のファイルでかまいません) に抽出して、しきい値が増加.dtaする傾向があるかどうかを確認したいと考えています。weight私が今やっていることはestout、次のような結果をエクスポートするために使用することです:

estoutすべてをエクスポートするので、結果を編集する必要があります。これは、予測変数が少ない回帰ではうまく機能しますが、実際のデータセットには 30 を超える変数があり、回帰は少なくとも 100 回ループします (Distance範囲が 0 から 30,000 の変数があります:weight 例では の役割があります)。したがって、間違いなく結果を編集することは非常に困難です。

私の問題を解決する他の効率的な方法はありますか? 私のケースはグループ変数をループしているのではなく、特定の基準を超えています。ここではstatsby機能がうまく機能していないようです。

関数の離散フーリエ変換の係数を計算しました。また、方形波の単一サイクルから等間隔に配置された 1000 個のサンプルを含む N=1000 要素の配列も作成しました。

ここに私のコードがあります

最初の 10 以外のすべてのフーリエ係数をゼロに設定するにはどうすればよいですか?

SKlearn には、BinomialNB と MultinomialNB という 2 つの単純なベイズ分類器があります。どちらの場合も、coef_ 変数は各特徴の重要度の重みを返します。3 クラスの場合、 coef_ のサイズは3xn、4 クラス、4xnなどになります。ただし、2 クラスの問題の場合、 coef_ は 1xnです。コード スニペットは次のとおりです。

返される係数は、2 番目のクラスに関連する係数のみです。に直接行くことで明らかに係数を取得できますfeature_log_probが、それは必須ではありません。

どうしてこれなの？？

二項分類の問題に (scikit で) ロジスティック回帰を使用しており、個々の予測を説明できることに興味があります。より正確には、陽性クラスの確率を予測し、その予測に対する各機能の重要性を測定することに関心があります。

係数 (ベータ) を重要度の尺度として使用することは、ここで回答したように一般的には悪い考えですが、私はまだ良い代替手段を見つけていません。

これまでのところ、私が見つけた最高のものは次の3つのオプションです。

1. モンテカルロ オプション: 他のすべての機能を修正し、評価する機能をトレーニング セットからのランダム サンプルに置き換えて予測を再実行します。これを何度も行います。これにより、陽性クラスのベースライン確率が確立されます。次に、元の実行の陽性クラスの確率と比較します。違いは、機能の重要度の尺度です。
2. 「Leave-one-out」分類子:機能の重要性を評価するには、最初にすべての機能を使用するモデルを作成し、次にテスト対象の機能を除くすべての機能を使用する別のモデルを作成します。両方のモデルを使用して新しい観測を予測します。2 つの違いは、機能の重要性です。
3. 調整済みベータ:この回答に基づいて、 「その係数の大きさにデータ内の対応するパラメーターの標準偏差を掛けた値」によって特徴の重要性をランク付けします。

すべてのオプション (ベータ版、モンテカルロ、および「Leave-one-out」を使用) は、私には貧弱なソリューションのように思えます。

1. モンテカルロはトレーニング セットの分布に依存しており、それを裏付ける文献が見つかりません。
2. 「1 つを除外する」は、2 つの相関する機能によって簡単にだまされます (一方が存在しない場合、もう一方が介入して補い、両方の重要度が 0 になります)。
3. 調整されたベータはもっともらしく聞こえますが、それを裏付ける文献が見つかりません。

実際の質問:線形分類子を使用して、意思決定の瞬間に各機能の重要性を解釈する最良の方法は何ですか?

クイック ノート #1: ランダム フォレストの場合、これは些細なことです。このブログ投稿prediction + biasで美しく説明されているように、単純に分解を使用できます。ここでの問題は、ロジスティック回帰などの線形分類器で同様のことを行う方法です。

簡単なメモ #2: stackoverflow には関連する質問が多数あります ( 1 2 3 4 5 )。この特定の質問に対する答えを見つけることができませんでした。

私の単純なデータセットは次のようになります。

上記のデータセットは、次のコードを使用して再現できます。

まず、次のコマンドを使用して、パネル データ回帰のパネル構造を取得します。

回帰を実行します

次に、以下のように結果の見積もりの​​ショートカットが作成されます。

面積の限界積を計算するためのこのコードがあります。しかし、私のデータ フレームにはいくつかの欠損値があり、上記の計算からそれらの欠損値を削除するコードを含める必要があります。それ以外の場合、答えも NA となります。上記のコードの最後に以下を含めようとしました。

ただし、そのタグは使用しません。データフレーム pdat は、パネル データ回帰を使用して分析されたパネル データ セットです。a1、a2、a11、a12 は、特定の回帰の係数です。pdatにはいくつかの欠落データがあり、pdatにデータが欠落しているため、このpdat $ mpLabは各観測に対してNAを与えると思います。

誰かが私を助けることができれば大歓迎です。

Stata では、coefplotパッケージを使用して、複数の回帰から 1 つの係数をプロットしようとしています (つまり、複数の係数がありますが、それぞれが異なる回帰からのものです)。

これは、係数が各回帰で同じ名前を持っている場合にこれを達成するコードです（時間をかけて同じ係数をプロットするに関連しています） ：

これはすべてうまくてダンディです。しかし、各回帰の係数が異なる変数に関連している場合、どうすれば同じことを達成できるでしょうか? 例えば：

1 つのプロットだけが必要な場合、これにより 3 つの個別のプロットが生成されます。これを達成するために何をする必要がありますか? 私が望むのは、mpg( t1)、truck( t2)、およびweight( t3) の係数がすべて同じプロットにプロットされた 1 つのプロットがあることです。mpg, truck, weightこれらの係数とのラベル付けを切り替える方法も知っておくとよいでしょうt1, t2, t3。

1つの解決策はマトリックスを使用することですが、可能であればこのルートをたどりたくありません。