programming-languages - マルチコアと並行性 - 言語、ライブラリ、および開発手法

Question

CPU アーキテクチャの状況が変わりました。マルチコアは、ソフトウェアの開発方法を変えるトレンドです。私は C、C++、および Java でマルチスレッド開発を行い、さまざまな IPC メカニズムを使用してマルチプロセス開発を行いました。スレッドを使用する従来のアプローチでは、高度な並行性をサポートするハードウェアを開発者が利用することは容易ではないようです。

並行アプリケーションを作成する際の従来の課題を軽減するのに役立つ言語、ライブラリ、および開発手法は何ですか? 私は明らかに、デッドロックや競合状態などの問題を考えています。設計手法、ライブラリ、ツールなども興味深いものであり、利用可能なリソースを実際に活用し、確実に利用できるようにします。安全で堅牢なスレッド化されたアプリケーションを作成するだけでは、利用可能なすべてのコアを確実に使用できるわけではありません。

私がこれまでに見たものは次のとおりです。

Erlang : プロセスベース、メッセージパッシング IPC、「アクターの同時実行モデル」
Dramatis : Ruby および Python 用の俳優モデルライブラリ
Scala : 同時実行サポートが追加された JVM 用の関数型プログラミング言語
Clojure : アクターライブラリを使用した JVM 用の関数型プログラミング言語
Termite : Erlang のプロセスアプローチと Scheme へのメッセージパッシングのポート

他に何を知っていますか、何が効果的で、何を見るのが面白いと思いますか?

score 11 · Accepted Answer

2 つのパラダイムシフトを提案します。

ソフトウェアトランザクショナルメモリ

Software Transactional Memory (STM)の概念を確認することをお勧めします。アイデアは、楽観的同時実行を使用することです。他の操作と並行して実行される操作は、分離されたトランザクションでそのジョブを完了しようとします。ある時点で、このトランザクションが動作しているデータを無効にする別のトランザクションがコミットされた場合、トランザクションの作業は破棄され、トランザクションが再度実行されます。

私は、アイデアの最初の広く知られている実装 (概念実証と最初の実装ではないにしても) は Haskell のものだと思います: Haskell のトランザクションメモリに関する論文とプレゼンテーション。他の多くの実装は、ウィキペディアの STM 記事にリストされています。

イベントループとプロミス

[E プログラミング言語]( http://en.wikipedia.org/wiki/E_(programming_language%29) .

言語設計の他の部分と同様に、同時実行を処理する方法は、Actor モデルに大きく基づいていることに注意してください。

score 9 · Accepted Answer

Javaについて言及しましたが、スレッドについてのみ言及しています。Java の並行ライブラリを見たことがありますか? Java 5 以降にバンドルされています。

ほんの数例を挙げると、ThreadPools、CopyOnWriteCollections を含む非常に優れたライブラリです。Java チュートリアルでドキュメントを確認してください。または、必要に応じて、Java ドキュメント.

score 7 · Accepted Answer

いくつかのScalaベースのもの：

score 6 · Accepted Answer

Python の処理を使用しました。threadingモジュールの API を模倣しているため、非常に使いやすいです。

map/imapまたはジェネレーター/リスト内包表記を使用する場合、コードを変換して使用するのはprocessing簡単です。

def do_something(x):
    return x**(x*x)

results = [do_something(n) for n in range(10000)]

と並列化できます

import processing
pool = processing.Pool(processing.cpuCount())
results = pool.map(do_something, range(10000))

結果を計算するために必要なプロセッサの数はいくらでも使用されます。遅延型 ( Pool.imap) と非同期型 ( Pool.map_async) もあります。

を実装する queue クラスとQueue.Queue、スレッドに似たワーカーがあります。

落とし穴

processingに基づいておりfork()、Windows でエミュレートする必要があります。オブジェクトはpickle/経由で転送さunpickleれるため、これが機能することを確認する必要があります。すでにリソースを取得しているプロセスを fork することは、あなたが望むものではないかもしれません (データベース接続を考えてください) が、一般的には機能します。これは非常にうまく機能するため、Python 2.6 のファストトラックに追加されました ( PEP-317 を参照)。

score 4 · Accepted Answer

質問明日のメニーコアプロセッサを活用するために、今日どの並列プログラミングモデルをお勧めしますか？すでに尋ねられています。私もそこで次のように答えました。

Kamaeliaは、多くの通信プロセスを備えたアプリケーションを構築するためのPythonフレームワークです。

Kamaelia-並行性が便利で楽しいものになりました

Kamaeliaでは、相互に通信する単純なコンポーネントからシステムを構築します。これにより、開発がスピードアップし、メンテナンスが大幅に支援され、自然に並行ソフトウェアを構築できるようになります。これは、初心者を含むすべての開発者がアクセスできるようにすることを目的としています。それはまたそれを楽しくします:)

どんなシステム？ネットワークサーバー、クライアント、デスクトップアプリケーション、pygameベースのゲーム、トランスコードシステムとパイプライン、デジタルTVシステム、スパム根絶者、教育ツール、その他かなりの量:)

これがPycon2009のビデオです。これは、KamaeliaをTwisted and Parallel Pythonと比較することから始まり、次にKamaeliaの実演を行います。

カマエリアとの簡単な同時実行-パート1（59:08）カマエリア
との簡単な同時実行-パート2（18:15）

score 4 · Accepted Answer

私は Ada で並行プログラミングを 20 年近くやっています。

言語自体 (ライブラリに追加されたものではありません) は、スレッド化 (「タスク」)、複数のスケジューリングモデル、および複数の同期パラダイムをサポートしています。組み込みのプリミティブを使用して、独自の同期スキームを構築することもできます。

Ada のランデブーは一種の手続き型同期機能と考えることができますが、保護されたオブジェクトはよりオブジェクト指向です。ランデブーはモニターの古い CS コンセプトに似ていますが、はるかに強力です。保護されたオブジェクトは、OS ロック、セマフォ、イベントなどとまったく同じものを構築できる同期プリミティブを備えた特別なタイプです。ただし、正確なニーズに応じて、独自の種類の同期オブジェクトを発明して作成することもできるほど強力です。 .

score 4 · Accepted Answer

Intel のC++ 用Threading Building Blocksは、私にとって非常に興味深いものに思えます。生のスレッドよりもはるかに高いレベルの抽象化を提供します。枯れ木のドキュメンテーションが好きなら、O'Reilly にはとてもいい本があります。また、Intel の Threading Building Blocks を使用した経験はありますか?も参照してください。.

score 4 · Accepted Answer

私はこう言います：

モデル: スレッド + 共有状態、アクター + メッセージパッシング、トランザクションメモリ、マップ/リデュース? 言語: Erlang、Io、Scala、Clojure、Reia ライブラリ: Retlang、Jetlang、Kilim、Cilk++、fork/join、MPI、Kamaelia、Terracotta

私は、このようなもの (Erlang、Scala、Java スレッディング、アクターモデルなど) に関する同時実行リンクブログを維持しており、1 日に 2 つのリンクを掲載しています。

http://concurrency.tumblr.com

score 3 · Accepted Answer

3

Parallel Extensions for .NETとParallel LINQに注目しています。

于 2008-09-23T15:32:02.520 に答える

score 2 · Accepted Answer

Javaには、ご存知のようにアクターライブラリもあります。そして、J avaが関数型言語であることをご存知ですか？;）

score 2 · Accepted Answer

2

Reiaは、 Erlangをベースにしていますが、Python/Ruby に似た言語です。

于 2008-09-23T15:27:43.233 に答える

score 2 · Accepted Answer

この質問は、「将来のメニーコアプロセッサを活用するために、現在どの並列プログラミングモデルを推奨しますか?」との重複ではないにしても、密接に関連しています。

score 2 · Accepted Answer

OpenMP .

スレッドを処理するので、C++ アプリケーションのどの部分を並行して実行するかだけを気にする必要があります。

例えば。

#pragma omp parallel for
for (int i=0; i < SIZE; i++) 
{
// do something with an element
}

上記のコードは、openmp ランタイムに使用するように指示した数のスレッドで for ループを実行します。したがって、SIZE が 100 で、クアッドコアボックスを使用している場合、その for ループは各コアで 25 項目を実行します。

さまざまな言語用の並列拡張機能が他にもいくつかありますが、私が最も興味を持っているのは、グラフィックカードで実行される拡張機能です。それが本当の並列処理です:) (例: GPU++とlibSh )

score 2 · Accepted Answer

C++0x はstd::lock、複数のミューテックスをまとめてロックするための関数を提供します。これは、順不同のロックによるデッドロックを軽減するのに役立ちます。また、C++0x スレッドライブラリには、promise、future、およびパッケージ化されたタスクが含まれます。これにより、スレッドは、ユーザーレベルのロックなしで、別のスレッドで実行された操作の結果を待つことができます。

score 0 · Accepted Answer

multiprocessing別の回答で言及されているように、マルチコアプログラミングを簡素化するpythonライブラリです。

Python で書かれたプログラムmultiprocessingは、ローカルコアではなく、クラウド上で作業を出荷するように簡単に変更できます。 piCloudはそれを利用して、クラウド上で大規模なオンデマンド処理能力を提供します。コードを 2 行変更するだけです。

マルチコア用のライブラリを選択するとき、クラウドアプローチも意味があるかどうかを尋ねたいと思うかもしれません。

programming-languages - マルチコアと並行性 - 言語、ライブラリ、および開発手法

15 に答える 15

ソフトウェア トランザクショナル メモリ

イベントループとプロミス

落とし穴

Kamaelia-並行性が便利で楽しいものになりました

Related

Reference

ソフトウェアトランザクショナルメモリ