問題タブ [parallel-processing]

家には使っていないパソコンがたくさんあります。それらを利用して、コードをほとんどまたはまったく変更せずに C# プログラムを並列化する最も簡単な方法は何ですか?

私がやろうとしているタスクには、多くの英語の文をループすることが含まれます。データセットは簡単に小さなチャンクに分割でき、異なるマシンで同時に処理できます。

私は次のようなことをしたい:

私はdtsでこれを行うことができます。トランザクションSQLでそれを行う方法はありますか? または、バッチ スクリプト (vbs や powershell など) でそれを行う方法はありますか?

OpenMosixが閉じていることを知ってショックを受けました。Linux用の同様の無料ツールを提案できますか。

知らない人のために、OpenMosixは

GNU/Linuxを実行しているネットワーク化されたコンピューターをクラスターに変えるソフトウェアパッケージ。クラスターの異なるノード間で負荷を自動的に分散し、ノードはサービスを中断することなく実行中のクラスターに参加または離脱できます。負荷は、ノードの接続とCPU速度に応じてノード間で分散されます。

最も良い部分は、プログラムを特別なライブラリにリンクする必要がなく、プログラムを変更する必要もないことです。ただ「フォークして忘れる」。

もう1つの優れた（ただし、必須ではない）機能は、専用のコンピューターにインストールする必要はありませんが、組織/ラボ/自宅などのさまざまなデスクトップコンピューターにインストールできるという事実です。

私はいくつかの可能な解決策の名前を知っています（例えば）。私は個人的な経験や素敵なレビューを探しています

OpenMosixの前身であるEDITMosixは、 以前は無料でした（無料のビールとして）。しかし、今はお金がかかります

いくつかのプロセスをフォークしています。タスク全体を完了するのにかかる時間を測定したいと考えています。つまり、フォークされたすべてのプロセスが完了したときです。すべての子プロセスが終了するまで親プロセスを待機させる方法を教えてください。適切なタイミングでタイマーを確実に停止したい。

ここに私が使用するコードがあります：

多くのファイルに対して操作を実行するために単純な for ループを書いていることがよくあります。たとえば、次のようになります。

私の 4 コア マシンで 1 つのコアしか使用されていないのは少し気のめいるようです.シェル スクリプトに並列処理を追加する簡単な方法はありますか?

編集:私の問題にもう少しコンテキストを導入するために、申し訳ありませんが、最初から明確ではありませんでした!

妥当なサイズのデータ​​セット (通常は 100 ～ 10,000) に対して、グラフのプロット、圧縮または解凍、または何らかのプログラムの実行など、単純な (っぽい) スクリプトを実行したいことがよくあります。このような問題を解決するために私が使用するスクリプトは上記のように見えますが、別のコマンド、または実行する一連のコマンドが含まれている場合があります。

たとえば、今私は実行しています：

したがって、私の問題は bzip 固有のものではありません! (並列 bzip はクールに見えますが、将来的に使用するつもりです)。

.NET への今後の並列拡張に関するChannel 9の最後のビデオを見たところです。これを Web アプリでどのように使用しますか? 私は特に、SQL db に対して並列 Linq 拡張機能を使用することを考えています。マルチユーザー サーバー アプリでデータ アクセス レイヤーを高速化する方法としてこれを使用するのは理にかなっていますか? 問題は何ですか (静的コレクション型を使用した明らかなスレッド セーフの問題は別として)?

ここが質問するのに適切な場所であることを願っています[1]が、ここで他のトピックに関する多くの良いコメントを読んだので、質問します. 現時点では、論文のトピックを探しています (ドイツ以外の国では博士号を取得していると思います)。これは、並列処理や同時実行などで何かを行う必要があります。 「興味があります。また、GPU を使用することはすべて合理的ではありません。なぜなら、私の同僚はすでにこのトピックについて研究しており、私のために何か他のものを用意したいからです :)

ですから、魔法の質問は次のとおりです。この分野で興味深いトピックは何だと思いますか? 個人的には、並列関数型プログラミング言語と仮想マシン全般に興味がありますが、そこでは多くの作業が既に行われているか、活発に研究されています (Haskell コミュニティなど)。

他の興味深いトピックを教えていただけると助かります。

敬具、マイケル

PS：私はすでにhttps://stackoverflow.com/questions/212253/what-are-the-developments-going-on-in-all-languages-in-parallel-programming-areaを見てきましたが、ありませんでしたたくさんの答え。

[1] http://lambda-the-ultimate.orgで既に質問しましたが、残念ながら期待したほどの反応はありませんでした。

私はRubyonRailsで一種のパーソナライズされた検索エンジンを開発しており、現在、ユーザーのレコードに応じて結果をリアルタイムで並べ替える最良の方法を見つけようとしています。

例：検索されるアイテムにはタグ（IDを持つ個別のエンティティ）を含めることができます。たとえば、アイテムにはtags = [1、5、10、23、45]があります。

一方、ユーザーは、特に関心のあるタグにフラグを付けている可能性があるため、ユーザーがtags = [5、23]を持っているとします。

結果の並べ替えに使用されるスコアは、ユーザーが「見つめている」アイテムのタグの数を考慮に入れる必要があります。たとえば、アイテムのスコアは、アイテムの属性に基づいて50％になり、ユーザーの（見つめられたタグの数）に応じてランクに基づいて50％になります。

一つのアイデアは、これを情報検索システムのソート機能に注入することでした。しかし、おそらく私が使用するSphinxでは、実装するのが非常に厄介です（ユーザーのベクトルが大きい場合）。Lucene / solrについてはわかりませんが、とにかく必要な高度な非テキスト検索機能（距離、日付、時刻など）がないようです。

他のオプションは、IRシステムから中間セットを取得し、それをアプリケーションレベルで処理することです。ただし、100〜1000レコードを順番に処理してから、Railsで並べ替えると非常に時間がかかると確信しています。

一方、並列処理が簡単なタスクのようです。1000レコードをセットに分割し、別々のスレッドで処理してから並べ替えます。

私はいくつかのマップリデュースの実装について読みました。hadoopのようなユニバーサルとskynetのようなレール固有の実装の両方ですが、リアルタイム処理ではなく、大規模なバッチジョブに最適です（私が間違っていない限り）。

これに使用できるメモリ内の軽量MR実装はありますか？それとも、それを処理する方法について他のアイデアがありますか？

（補足：この設定は、「Googleニュースのパーソナライズ：スケーラブルなオンライン協調フィルタリング」の論文から理解できるように、Googleニュースの仕組みに似ていると思います。これらは、一連の候補ストーリーと、ユーザーが属する一連のクラスターをリアルタイムで照合します。パーソナライズされた方法でストーリーを並べ替える（事前に計算された）

私が作業しているプロジェクトには、ブール列が変更されたかどうかを監視する「更新時」トリガーのあるテーブルがあります（例：false-> true =何らかのアクションを実行します）。ただし、このアクションは1行に1回しか実行できません。

データベースにアクセスするクライアントは複数存在するため、最終的には複数のクライアントが同じ行列を並行して更新しようとすることが考えられます。

「更新」トリガー自体が同時実行自体を処理しますか、それともトランザクションでそれを実行して手動でテーブルをロックする必要がありますか？

データを複数の mysql データベースに分割していますが、複数の分割から情報を収集する必要がある場合があります。PHPで複数のmysqlデータベースを並行してクエリするにはどうすればよいですか?

非同期の curl リクエストと shell_exec の例をいくつか見てきましたが、もっと直接的な方法はありますか?