私は、300 万人のユーザーと 500,000 の製品を含むレコメンデーションの問題を扱っています。レコメンデーションの目的は、特定の製品にアクセスしたときに、特定のユーザーにさらに 5 ～ 10 個の製品をレコメンドすることです。

リアルタイムレコメンドエンジンの部分は完成しましたが、1~2秒でレコメンドするのはそう簡単ではないことがわかりました。次の 2 つの戦略を検討します。

1. 推奨事項をオフラインでバッチ モードで実行し、結果をMySQL DB に保存します。ただし、テーブルのエントリ数は膨大な数のようです。各製品の各ユーザーは、少なくとも 5 ～ 10 個の推奨製品を保存する必要があります。テーブル属性としてユーザーと製品を使用してテーブルを作成すると、300 万 x 500,000 のエントリが存在します。

2. その場でおすすめを予測します。試してみましたが、応答時間が長すぎます。

この問題について誰か提案してもらえますか?

ASP.NET MVC で 1 日あたり数百万のアクセスを処理する大規模なプロジェクト (ソーシャル ネットワーク) を開発することは合理的ですか。その場合、サイトのパフォーマンスは非常に遅くなると思います。アドバイスが必要です。パフォーマンスとスケーラビリティの観点から、ソーシャルネットワークを構築するためのより良い選択は何ですか? ASP MVC でビルドしても問題ないですか、それとも悪い選択ですか? 例えばRuby on Railsでやったほうがいいのではないでしょうか？どう思いますか？前もって感謝します！）

問題

およそ 20 ～ 25 の異なるサブシステムで構成された、かなり大規模な油圧空気圧システム モデルがあります。各サブシステムは、デジタル ロジック、エッジ遅延ブロック、および外部出力ポート (実際の出力) へのゲートウェイで構成されます。さらに、小さなビルディング ブロックの一部は、費用対効果を最大化するために S-Function としてインポートされたレガシー C コードです。各サブシステム モデルは、基本的なブロックセットを使用して SIMULINK で設計されています。つまり、アドオンの商用ブロックセット (航空宇宙、simscape、simMechanics など) は使用されていません。

主な問題は、SIMULINK でのモデルのテストに関する十分な知識がないことです。Mathworks がテストと検証用に提供する特注の単体テスト フレームワークがあることは知っています。問題は、これが私のドメインにどのように関連するのかよくわからないことです. さらに、私のサブシステムはそれ自体が非常に複雑であり、それぞれの単体テストは悪夢です。しかし、入力と出力を使用したブラックボックス テストが唯一の方法である場合は、それで問題ありません。喜んでそれを受け入れます。

私の質問は、SIMULINK で大規模で複雑なシステムをテストすることに関するものですが、私の目的は、過去にそれを行ったことがあり、将来も多くのことを行う経験豊富な SIMULINK ユーザーから提案を得ることです。以前に SIMULINK で単体テストを行ったことがありますが、これらのテストはすべて、正しい設計の近くにさえありませんでした。

どんな助けでも大歓迎です!!

@PHILGODDARD のコメント以降の更新

上記で言い忘れていましたが、私は HIL と PIL に精通しています。ただし、これらは、ターゲットのリアルタイム プラットフォームをループ テストに使用できる場合にのみ有効です。誰かがソフト リアルタイム テストを行いたい場合はどうすればよいでしょうか?

Mathworks の大規模システム テスト ウェビナーを 1 日か 2 日で完了するのを待っています。願わくば、それを通じてより良い回答/提案を得ることができますか?

@AM304 のコメント以降の更新

コンテキストをもう少し明確にするために、物理的なデバイスを使用せずに、相互作用するすべてのシステムをソフトウェアでモデル化しています。つまり、ソフトウェアですべてのシステムをモデル化およびシミュレーションし、出力をオペレータ/インストラクター端末に表示します。電気、空調、油圧空気圧システムが連携して動作していますが、ソフトウェアでモデル化しています。したがって、シミュレーションを行うと、すべての必要な信号がソフトウェア モデルの動作から生成され、実際のハードウェア/物理デバイスはこれらの動作出力の提供に関与しません。

私は非常に大きな列車セットを持っているので、Matlab. そして、大規模なトレーニングを行う必要があります。

トレーニングセットを部分に分割し、ネットワークを繰り返しトレーニングし、反復ごとに上書きする代わりに「ネット」を更新することは可能ですか?

以下のコードはアイデアを示しており、機能しません。各反復で、トレーニングされたデータセットのみに応じてネットを更新します。

J2EEを使って大規模なアプリケーションを開発しようとしています。アプリケーションには多数のモジュールが含まれており、クライアントと直接通信しないモジュールはほとんどありません (つまり、SNMP リスナー、ジョブ スケジューリング、ポーリングなどのように別のスレッドで処理されます)。

そのため、アプリケーションをモジュールベースのアプリケーションに分割し、異なるサーバーで実行し、メインの j2ee アプリケーションと統合して結果をユーザーに表示する予定です。

モジュールベースのアプリケーションを作成し、別のサーバーで実行できるアプリケーションを実行する方法を教えてくれる人はいますか?

1 か月の間に、プロセスによって一部のデータベース テーブルに最大 1M の行が大量に挿入されます。
これは毎日発生し、プロセス全体が約 40 分続きます。それは結構です。
データをすばやくクエリできるように、これらの挿入からいくつかの「集計テーブル」を作成しました。これはうまくいきます。

問題: サマリー テーブルにデータを挿入し続けるため、キャッシュ テーブルを作成する時間が実際のデータを挿入するプロセスと一致し、これで問題ありません。ただし、前日に挿入されたデータが (何らかの更新により) 変更された場合、前日を「再計算」する必要があり、これを解決するには、今日の要約データを毎日作成する代わりに、プロセスを変更して要約を再作成する必要があります。つまり、実行時間が大幅に増加します。
この問題に対処する標準的な方法はありますか?

ポイントの 2D グリッドで表されるサーフェスを最適化して、指定されたターゲット法線ベクトルと一致するサーフェスの法線ベクトルを生成する必要があります。グリッド サイズは、201x201 から 1001x1001 の間である可能性があります。つまり、メッシュ ポイントの z 座標のみを変更しているため、変数の数は 40,000 から 1,000,000 になります。

大規模な非線形最適化問題に優れていると思われる Ceres フレームワークを使用しています。MATLAB の fmincon は既に試しましたが、信じられないほどの量のメモリを使用します。小さなメッシュで機能する目的関数を作成しました (3x3 および 31x31 で成功)。ただし、大きなメッシュ サイズ (157x200) でコードをコンパイルしようとすると、次のエラーが表示されます。これは Eigen の制限であると読みました。ただし、Eigen の代わりに LAPACK を使用するように Ceres に指示すると、大きな行列に対して同じエラーが発生します。私はこれらの行を試しました：

これらは、3x3 メッシュを使用した出力が示すように、ソルバーに LAPACK と DENSE_QR を使用するように指示します。

ただし、大きなパラメーターを使用すると、依然として Eigen のエラーが発生します。

とにかく、私は本当にこれでいくつかの助けを使うことができました. Ceres で多数の変数 (> 30,000) を最適化するにはどうすればよいですか? 前もって感謝します

セレスへのリンク: http://ceres-solver.org

Eigen へのリンク: http://eigen.tuxfamily.org/dox/

エラー：

私のコードは次のようになります（無関係な資料を取り出すために省略されています）：

私はmatlabのユーザータグの巨大なスパースマトリックスで一連のタグをクラスター化しようとしています:

35000*74000 で 99% のスパース性。

おそらく、次の 2 つの選択肢があります。

1: タグの共起行列を作成し、Tag-Tag 共起行列にクラスタリングを適用します。

2: ユーザーをタグの特徴と見なし、タグのクラスタリングには Transpose(user-tag) を使用します。

どちらが優れているかはわかりませんが、どちらもユーザーとタグのサイズが大きいという問題があります。

コメントや提案された解決策を本当に感謝します。