問題タブ [mclapply]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
r - expand.grid - 「サイズのベクトルを割り当てられない」問題の解決を試みる
組み合わせの膨大な data.frame を作成する必要がありますが、すべてが必要なわけではありません。しかし、ここで見たように、expand.grid 関数は、組み合わせがスローする特定の条件を追加できません。
なので、一歩一歩進むことにしました。たとえば、私は
私がしようとすると
「サイズのベクトルを割り当てることができません」という問題が発生します..
だから私は次のように一歩一歩進んでみました
これにより、必要な組み合わせが得られます。メモリを節約するために、次のような別の列を追加します
しかし、8 つ以上の変数のグリッドになると問題が発生します。とても時間がかかりますが、別のフレームに数字を追加するだけのはずです。たぶん私は間違っていて、本当にその時間が必要ですが、これを行うためのより効率的な方法があることを願っています.
必要なのは、2 つの変数の expand.grid を作成し、それをサブセット化する条件を追加することだけです。次に、サブセット化されたグリッドを尊重する別の列を追加します（すべての行に c(0:variants) を追加します。もちろん、さらに行を作成することを意味します...そして条件によってサブセット化します....
誰でもそれを速くするのを助けることができますか? mclapply trought 関数の使用が最速であることを望みましたが、そうではないかもしれません..
誰かのおかげで...
r - R: TermDocumentMatrix - 作成中のエラー
Twitter データを取得してワードクラウドを作成しようとしていますが、TermDocumentMatrix の作成中にコードでエラーが発生しています。私のコードは以下の通りです
TermDocumentMatrix を作成する前にエラーはありません。私が得るエラーは以下の通りです
mclapply(x$content[i], function(d) tm_reduce(d, x$lazy$maps)) での警告: スケジュールされたコア 1 でユーザー コードでエラーが発生しました。ジョブのすべての値が影響を受けます mclapply(unname( content(x)), termFreq, control) : スケジュールされたコア 1 でユーザー コードでエラーが発生しました。ジョブのすべての値が影響を受けます警告: UseMethod のエラー: クラス「try-エラー」スタック トレース (最も内側から): 74: FUN
73: lapply
72: setNames
71: as.list.VCorpus
70: as.list
69: lapply
68: meta.VCorpus
67: meta
66: TermDocumentMatrix.VCorpus
65: TermDocumentMatrix
64 : as.matrix
63:observeEventHandler
1:runApp
すでに追加lazy = TRUEしましcontent_transformer(tolower)たが、それでもエラーが発生します。
r - 効率的/マルチスレッド実行による回帰予測
のメモリ消費に関する問題について多くの投稿があることは知っていますがmclapply、それでも私のケースを助けることができるものがあるかどうかを確認しようとしています.
ランダム フォレスト モデルを ~600 x 60,000 (変数行列 X による応答 y) の行列に当てはめています。
次に、その適合をランダムな適合と比較したいと思います。そのために私がやっていることは次のとおりです。
残念ながら、これはメモリを大量に消費する (100GB 以上が必要) ため、実用的ではありません。
ところで、私が実行している環境は Linux です。
助言がありますか？
r - 複数の mclapply、parLapply を使用する
複数の mclapply/parLapply をチェーンしようとしています:
次に、x を変化させます。
問題は、次のエラーが頻繁に発生することです。
スケジュールされたコア 3、57、54、8、23、17、53、18、22、28、41、25、30 ユーザー コードでエラーが発生しました。ジョブのすべての値が影響を受けます
興味深いことに、ubuntu マシンでこれを実行している場合はエラーが発生しませんが、CentOS マシンでこれを実行するとこのエラーが発生します。parLapply を使用して 2 番目のステップを実行すると、同様のことが起こります
私も試しました：
しかし、ここでも興味深いエラーが発生します。
r - ジュリア pmap パフォーマンス
R コードの一部を Julia に移植しようとしています。基本的に、Julia で次の R コードを書き直しました。
お気づきのように、1 つのコアから 11 のコアに移行すると、速度が大幅に向上します。今、Julia で同じことをしようとしています。
お気づきのように、pmap を使用しても速度が向上しません。誰かが代替案を提案できるかもしれません。