問題タブ [linear-regression]

スタンフォード機械学習の講義（講義2の25:00頃）で説明されている最急降下アルゴリズムのコードを少し書き出そうとしています。以下は私が最初に使用した実装であり、講義から適切にコピーされたと思いますが>8、トレーニングセットに大きな数（）を追加すると収束しません。

X数値を入力していて、トレーニングセットにが追加されているので、現時点では、それをどこにpoint (X,X)収束させようとしているだけです。トレーニングセットは配列であり、はポイントです。y=ax+ba=1=theta\[1\]b=0=theta\[0\]xy(x[i],y[i])

私が得ている結果のいくつか：私は数値を入力し、それはtrain()数回実行され、そしてdisplay()

それが通過した後に発散する例8：

ここで提案したステップのスケーリングのソリューションを試したところ、同様の結果が得られました。私は何が間違っているのですか？

重複の可能性:
各共変量を明示的に宣言せずに glm を使用して R で数式を指定
する データ フレームから多くの変数を含む数式を簡潔に記述する方法は?

重回帰を実行したい Y 値のベクトルと X 値の行列があります (つまり、Y = X[列 1] + X[列 2] + ... X[列 N])

問題は、行列 (N) の列数が事前に指定されていないことです。R では、線形回帰を実行するには、方程式を指定する必要があることを知っています。

しかし、X 行列の列数がわからない場合はどうすればよいでしょうか?

ありがとう！

計量経済学を扱う Java ツールキットがあるかどうか疑問に思っていました。Jet ( http://jet.codehaus.org/ ) やその他の回帰パッケージ ( http://www.ee.ucl.ac.uk/~mflanaga/java/Regression.htmlや apache math パッケージなど) を認識しています。 ）しかし、何も完全ではないようです。

助言がありますか？

ありがとう

データがあり、取得するにはデータに対して線形回帰を実行する必要があります

y=アルファ*x+ベータ

アルファとベータは回帰によって与えられる推定量であり、ポリフィットは問題のないものを私に与えることができますが、これは物理科学のレポートであり、これらの値の誤差推定量を与える必要があります

統計から、単純な線形回帰係数には標準偏差が存在することがわかります。

Matlabで計算するにはどうすればよいですか？

ありがとうございました

私は初めてでR、線形予測をしようとしています。簡単なデータを次に示します。

の値を予測したい場合は言ってyear=12ください。これは私がやっていることです（さまざまなコマンドを試しています）：

いくつかのクエリ:

1. lma$coefficientsたとえば、このコマンドを発行すると、2 つの値のベクトルが返されます。インターセプト値のみを選択する方法は?

2. 多くの出力が得られますpredict.lm(lma, newyear) が、予測値がどこにあるのかわかりません。誰かが明確にしてもらえますか？

どうもありがとう...

私は perl を初めて使用し、重回帰を計算するコードを含むパッケージを探しています。

ここに示されている OLS のようなもの:

ウィキペディア - 重回帰の推定方法

助言がありますか？

ありがとう！！！

より良い線形回帰を実行する方法を見つけるのに苦労しています。Moore-Penrose 疑似逆行列とQR 分解をJAMA ライブラリで使用してきましたが、結果は満足のいくものではありません。ojAlgo _便利である？そこにあってはならないことがわかっている精度の限界に達しています。アルゴリズムは、入力変数の影響をゼロに減らすことができる必要があります。おそらく、これは反復的に再重み付けされた最小二乗法の形式をとっていますが、そのアルゴリズムを知らず、そのためのライブラリを見つけることができません。出力は、重み行列による入力行列の行列乗算が予測行列を生成するような重み行列またはベクトルである必要があります。私の入力行列には、ほとんどの場合、列よりも多くの行があります。ご協力ありがとうございました。

SOで別の角度から議論されているブログCerebralMasticationに触発されて、回帰とPCAを比較する方法を完成させようとしています。忘れる前に、これの核心の多くをJDLongとJoshUlrichに感謝します。これを次の学期のコースで使用します。すみません、これは長いです！

更新：ほとんど機能する別のアプローチを見つけました（可能であれば修正してください！）。一番下に投稿しました。私が思いついたよりもはるかに賢くて短いアプローチ！

私は基本的に、以前のスキームをある程度まで実行しました。ランダムデータを生成し、最適な線を見つけ、残差を描画します。これは、以下の2番目のコードチャンクに示されています。しかし、私はまた、ランダムな点（この場合はデータ点）を通る線に垂直な線を描くためのいくつかの関数を掘り下げて書きました。これらは正常に機能すると思います。これらは、機能する証拠とともにFirstCodeChunkに表示されます。

ここで、2番目のコードチャンクは@JDLongと同じフローを使用してすべての動作を示し、結果のプロットの画像を追加しています。黒、赤のデータは残差がピンクの回帰であり、青は1番目のPCであり、水色は法線である必要がありますが、明らかにそうではありません。これらの法線を描画するFirstCodeChunkの関数は問題ないように見えますが、デモンストレーションでは何かが正しくありません。何かを誤解しているか、間違った値を渡しているに違いないと思います。私の法線は水平になっています。これは便利な手がかりのようです（しかし、これまでのところ、私にはわかりません）。誰かがここで何が悪いのかわかりますか？

おかげで、これはしばらくの間私を悩ませてきました...

最初のコードチャンク（法線を描画し、それらが機能することを証明する関数）：

2番目のコードチャンク（デモンストレーションをプロット）：

Vincent Zoonekyndのページで、私が望んでいたものをほぼ正確に見つけました。しかし、それは完全には機能しません（明らかに機能するために使用されます）。これは、垂直軸を介して反射された最初のPCの法線をプロットするそのサイトからのコードの抜粋です。

そしてここに結果があります：

私は ML が初めてで、少し学ぶために kaggle コンテストに取り組んでいます。データセットに特定の機能を追加すると、精度が低下します。

コストに追加する機能の重みをゼロ (無視) にしないのはなぜですか? 非線形の特徴が極小解を引き起こす可能性があるためですか?

ありがとう。