問題タブ [large-scale]

dbpedia - 2014約60GBのトリプルテキストファイルで構成されたグラフデータベースを構築しています。これに対する時間とメモリの効果的な解決策は何でしょうか? 私のマシンには次のものがあります：

1. RAM - 8ギガバイト
2. CPU - 2.20 GHz
3. HD - 500 GB (HDD)

私はLingoソフトウェアを試しました。100 時間以上経過しましたが、結果が得られません。

MATLAB ソフトウェアを試してみました。このコード「A=zeros (1187550,391275)」を実行すると、次のエラーが発生します。プログラムが許可する最大の変数値

では、この大規模な行列モデルを解決する良い方法はありますか?

要件：

• ユーザーは会社への登録と退会が自由にできます。
• ユーザーは、登録している会社の投稿のみを取得する必要があります。
• ユーザーは、既に気に入った/気に入らなかった投稿を表示すべきではありません

現在、私たちが行っていることは、ユーザーが会社に参加すると、関連する投稿をユーザーにコピーしUser_Feed、クライアントが投稿を取得することです。

ここで、40,000 件の投稿と 500,000 人のユーザーがいるとします。会社に参加するユーザーごとに、40K のデータをユーザー フィードにコピーする必要があります。または、会社が新しい投稿を投稿するとき、500KUSER_FEED秒に渡す巨大なファンアウト オブジェクトを作成する必要があります。

これはスケーラブルではありません。

David East は投稿の中で、ファンアウト手法は何百万ものレコードをサポートしていると述べていますが、彼の例でさえ、どうすれば 100 万人のフォロワーを処理できるのでしょうか?

私たちは間違った方向に進んでいるように感じます。
私たちの問題に対するより良い解決策はありますか？

現在、次の構造があります。

この投稿はFirebase Google グループでも開かれています

次の入力データがあります。

VarAはタイプPOSIXctでVarDあり、タイプchrでrestsあり、タイプnumです。

VarE私の従属変数です。VarC, VarB, VarG, VarH and VarIは私の説明変数です。データセットの合計行数は です7.4 million。ロジスティック回帰を実行したい。を使ってパッケージbigglmから試してみました。しかし、それはです。そのため、適切な逸脱値が得られません。そのため、同じ値の計算に問題があります。代替パッケージ/方法を提案していただけますか?biglmbinomial familyfailing to convergeMcFadden's R-Sqr

前もって感謝します。