巨大な行列のムーア・ペンローズ疑似逆行列を計算したいと思います。理想的には、2300万行1000列のマトリックスで実行したいのですが、必要に応じて、実験の一部で実行するだけで行数を400万に減らすことができます。
明らかに、マトリックスをメモリにロードしてSVDを実行しても機能しません。 ウィキペディアはクリロフ部分空間法を指摘し、アーノルディ、ランチョス、共役勾配、GMRES（一般化最小残余）、BiCGSTAB（安定化双共役勾配）、QMR（準最小残余）、TFQMR（転置なしQMR）、およびMINRES（最小残余）に言及しています。 ）最高のクリロフ部分空間法の1つとしての方法。でもここからどこへ行けばいいのかわからない。そのような巨大な行列の疑似逆行列を計算することさえ可能ですか？もしそうなら、どのアルゴリズムまたはソフトウェアライブラリを使用していますか？大規模なコンピューティングクラスターを利用できるので、並列アプローチを歓迎します。
この答えは、Rパッケージbiglmを指しています。それはうまくいくでしょうか？誰かがそれを使用しましたか？私は通常Pythonで作業しますが、この特定のタスクに他の言語やツールを使用してもかまいません。