問題タブ [pearson]

素朴な疑問かもしれません。df があり、R でデータの相関プロットを生成したいと考えています。

私はcorPlotというパッケージを見つけ、ピアソン法とスピアマン法に基づいて 2 つのプロットを生成しました。

ピアソン法による私の出力は次のとおりです。

私が認識していない同じ相関プロットを生成する別のパッケージがあるかどうか疑問に思いましたか?

前もって感謝します、

私はヘルスケアで働いており、R の使い方について助けが必要です。私は説明します: 私はそのようなデータのセットを持っています:

ここに私の目的があります：

これまでの私のコードは次のとおりです（最も効率的ではありませんが、機能します）：

したがって、これまでのところ、M に相関関係があり、N に p 値があります。R2 を表示する方法について助けが必要ですか?

そして2番目の部分は、たとえばR2> 0.5およびp値<0.05の場合にのみRを表示する方法ですか? 私はこの行を使用しました：

トレーニングとして、ピアソン係数が 0.9 を超える場合のみ表示します。しかし、それは 0.9 よりも優れたすべての値のリストを作成するだけです...したがって、この係数がどの列とどの列から来たのかわかりません。最良の方法は、列の名前を持つテーブルに重要な値を表示して、簡単に識別できるようにすることです。私がそれをしたい理由は、テーブルごとに 570 x 570 であるため、重要なものだけを保持するためにすべての p 値を調べることができないからです。

私が明確だったことを願っています！初めての投稿です、何か間違っていたら教えてください！

ご協力いただきありがとうございます ！

float = -1.00 を返す必要があると思いますが、代わりに次のエラーが発生しています。

TypeError: ['pearson'] をブロック値と比較できませんでした

よろしくお願いします。

Python では、 を使用して r と関連する p 値を計算する方法を知ってscipy.stats.pearsonrいますが、r の信頼区間を計算する方法を見つけることができません。これはどのように行われますか？助けてくれてありがとう:)

クラスのレコメンダー システム プロジェクトでは、現在、約 7000 人のユーザー (行) と 4000 の映画 (列) を持つデータセットの項目ベースの類似性マトリックスを構築して保存しようとしています。だから私が持っているのは、UserIDs をインデックスとして、MovieIDs を列として、評価を値として持つピボット テーブルです。ご想像のとおり、多くの 0-評価があります。

現在、scipy パッケージの pearsonr 関数を使用しています。すべての距離を保存するには、すべての列間のピアソン係数を計算し、それらを対称的な映画 - 映画行列に保存する必要があると考えました。これまでの私のコード（ご覧のとおり、私はPython /コーディングが初めてです）：

ご想像のとおり、これには永遠の時間がかかります。私は、これをより効率的に行う方法を見つけたいと思っています。私の最初のアイデアは、行列が対称であることを利用することでした。しかし、私は方法を理解できませんでした。

私の考えは次のようなものでした：

ただし、これを機能させたとしても、ここでの問題は 2 つの for ループにあるのではないかと心配しています。どういうわけかマップまたはラムダのアプローチを使用しようとしていましたが、どこにも行けませんでした。

これを改善する方法はありますか（おそらく多くの場合）？

2 つのリスト間のピアソン相関を計算できます。

list1 の観測値と期待値のリストが必要です。誰かがこのコードを拡張して観測された期待値を出力する方法を知っていますか?

このテストの指示を考えると: http://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.stats.pearsonr.html この方法を使用してこれらの値を取得できるかどうかわかりません、または他の何かがより適している場合は？

編集、線形回帰モデルを計算できるようになりました。

追記:

親切に提案されたようにモデルを適合させたら、linregress パッケージを使用して残差を適合させる方法を理解できると思いました。

ただし、私が呼び出すと：

.resid/.residuals などに似たものは何もないことがわかります。誰かが次のステップのために正しい方向に私を向けることができますか? 目的は、list1 の観測値と期待値のリストを計算することです (上記を参照してください)。

修正：

私にこれを与えます：

私は残差だと思います。どうもありがとう。

*******修正******

0.00075454346398073121 は傾き (m)、0.032064593825268217 は定数 (c) です。

どうもありがとう。

疎行列があります。変数と観測値A(m,n)はどこにありますか。すべての n 変数間のピアソン相関を計算したいと思います。nm

たとえば、A(2,3)が利用できない場合は、そのような観測がないことを意味するため、たとえば、列 3 と列 4 の間の相関を計算する必要がある場合A(2,4)は、行 2 を破棄する必要があります。利用可能。これは、ピアソン相関が通常どのように計算されるかです。

代わりに、MATLAB では、関数corrcoef()は欠損値 (ゼロと見なされる) を含むすべての値を考慮します。これを回避する簡単な方法はありますか？非常によく似た質問が、Matlab でゼロ要素を使用しない Pearson Correlationで利用できますが、実用的な解決策は、2 つのベクトル間の比較のためだけに提供されており、一般的な行列A(m,n)ではありませんn > 2。

(溶けた) 相関行列ですべての一意の値を報告したいと考えています。

私が行った場合：

私は手に入れます：

ただし、一部の行は同じことを効果的に報告しています。つまりVarA VarB = VarB VarA、私が本当に欲しいのは次のとおりです。

または、ボーナスとして、それ自体に相関する変数を削除することで、次のもののみを取得できます。

ピアソン相関を計算しています。最後に、以下のような結果 (correlation1) が得られました。相関 1 の結果として、2 番目の係数がすべて 0.0 になるのはなぜだろうか。説明できる人はいますか？さらに、相関コードの動作が遅いです。どうすれば速くできますか？

結果 (サンプル):
(0.52543523179249552, 0.0), (0.52543905756911169, 0.0), (0.52544196572206603, 0.0), (0.52545010637443945, 0.0)...

入力:

speed1_list: [113.0, 116.0, 120.0, 120.0, 117.0, 127.0, 124.0, 118.0, 124.0, 128.0, 128.0, 125.0, 112.0, 122.0, 125.0, 133.0, 128.0, 129.0, 126.0, 123.0, 120.0, 118.0, 114.0, 119.0, 129.0, 127.0, 128.0, 122.0, 120.0, 125.0, 119.0...]

speed2_list: [125.0, 123.0, 120.0, 115.0, 124.0, 120.0, 120.0, 119.0, 119.0, 122.0, 121.0, 116.0, 116.0, 119.0, 116.0, 113.0, 113.0, 115.0, 120.0, 122.0, 122.0, 113.0, 118.0, 121.0, 120.0, 119.0, 116.0...]

相関1:(0.52543523179249552, 0.0), (0.52543905756911169, 0.0), (0.52544196572206603, 0.0), (0.52545010637443945, 0.0)...