問題タブ [logistic-regression]

logistic regressionwekaのデータで使用しています。ここで、最小/最大、ゼロ平均/単位、分散、長さなど、さまざまなスケーリング アプローチを試して結果を改善したいと考えています。

スケーリングを使用するための weka のオプションはありますか?

正規化されたロジスティック回帰を適用する場合: データをトレーニング、交差検証、およびテスト セットに分割します。正則化を適用したいので、正則化パラメータ ラムダの選択に取り組んでいます。そのために、ラムダのさまざまな値を試して、トレーニング セットの仮説のパラメーター シータに適合させます。次に、検証セットでコスト関数が最小になるラムダの値を選択します。そのためには、ペナルティ項を使用して、またはそれを使用せずに、検証セットのコスト関数を計算する必要がありますか?

複数のノードを持つコンピューティング センターで条件付きロジスティック回帰を実行して、9 億 6900 万行の大きなデータセットを評価しようとしています。ただし、ジョブが最大容量のノードの最大メモリ 90 GB を超えているため、計算はキャンセルされます。

Rパッケージ「Rmpi」を使えば、複数ノードでの計算が可能になると聞きました。

次のコードを使用して、条件付きロジット回帰を実行しています。

この計算に Rmpi​​ を使用することは可能ですか? はいの場合、どのようにコードに実装できますか?

この問題を解決するための助けをいただければ幸いです。

事前にどうもありがとうございました。

線形だけでなく、ロジスティック回帰の二次項を使用して、変数の R のオッズ比を計算しようとしています。モデルに X と X^2 があるとします。X が特定の値をとるときのオッズ比 (X の単位変更) を取得する方法は知っていますが、この推定値の信頼区間を計算する方法はわかりません。SASでどのように行われるかについてのこのリファレンスを見つけました：http://support.sas.com/kb/35/189.html、しかし私はRでそれをしたいと思います.何か提案はありますか?

@BenBolkerここに例があります：

この例では、gpa のオッズ比は gpa の実際の値に依存します (たとえば、gpa=4 の場合の gpa の単位変更の影響)。gpa=5 と gpa=4 の対数オッズを計算し、それらからオッズ比を取得できますが、OR の CI を取得する方法がわかりません。(この例では、二乗項は統計的に有意ではないことを無視してください...)

私の予測子には 2 つのレベルがあります。

私の応答には2つのレベルもあります：

したがって、明らかに、ここには完全に線形の相関関係があります。しかし、後でロジスティック回帰と予測を実行すると、次のようになります。

ただし、予測では、実際のデータとは正反対の結果が得られます。

ここで何がうまくいかなかったのか誰にもわかりますか？これはどのように説明できますか？

ありがとうございました！

確率的勾配降下法を開発しようとしていますが、100% 正しいかどうかはわかりません。

• 私の確率的勾配降下法アルゴリズムによって生成されたコストは、FMINUC またはバッチ勾配降下法によって生成されたものとはかけ離れていることがあります。
• 学習率アルファを 0.2 に設定するとバッチ勾配降下コストが収束しますが、発散しないように、確率的実装では学習率アルファを 0.0001 に設定する必要があります。これは正常ですか？

以下は、10,000 要素のトレーニング セットと num_iter = 100 または 500 で得た結果の一部です。

ロジスティック回帰の勾配降下の実装

ロジスティック回帰のための確率的勾配降下の実装

参考までに、私の例で使用したロジスティック回帰コスト関数を次に示します。

SKLearn でロジスティック回帰を使用して、データを 5 つのクラスのいずれかに分類しています。データをトレーニングするために、観測Yのマトリックスと機能のマトリックスがありますX。

場合によっては、私のマトリックスYにカテゴリ 3 の発言権がない場合があります。この場合、predict_proba(X)メソッドを呼び出すときに、3 番目のエントリが 0 である 5 つの確率のリストが必要です (カテゴリ 3 の観測がないため)。代わりに、この確率は単純に省略され、4 つの確率のリストが返されます。

これを行うためにロジスティック回帰オブジェクトを変更するにはどうすればよいですか?