RBPI (Raspberry Pi) は消費電力が非常に低く、生産価格が非常に低いため、これらを使用して非常に大きなクラスターを構築できることを意味します。確かではありませんが、100000 RBPI のクラスターは電力もスペースもほとんど必要としません。
現在、FLOPS やその他の種類のコンピューティング測定に関しては、既存のスーパーコンピューターほど強力ではないかもしれないと思いますが、より優れたニューラル ネットワーク シミュレーションが可能になるでしょうか?
「1 CPU = 1 ニューロン」という言い方が妥当かどうかはわかりませんが、十分に有効だと思われます。
では、そのようなクラスターは、他の古典的なクラスターよりもはるかに並列であるため、神経回路網のシミュレーションにとってより効率的であることを意味するのでしょうか?
Raspberry Pi 自体を使用しても、大規模な並列スーパーコンピューターを構築するという問題全体が解決されるわけではありません。すべての計算コアを効率的に接続する方法は非常に大きな問題です。そのため、スーパーコンピューターは単なる市販部品ではなく、特別に設計されています。とは言うものの、研究ユニットは、まさにこの問題に対処する計算能力をもたらす電力効率の高い方法として、ARM コアを実際に検討し始めています。
http://www.zdnet.co.uk/news/emerging-tech/2011/07/08/million-core-arm-machine-aims-to-simulate-brain-40093356/「ミリオンコア ARM マシンが目指すのは、脳をシミュレートする」
http://www.eetimes.com/electronics-news/4217840/Million-ARM-cores-brain-simulator「脳シミュレーターをホストする 100 万の ARM コア」
それは非常に専門的なオーダーメイドのハードウェアですが、概念的には、あなたが提案する Raspberry Pi のネットワークからそう遠くありません。ARM コアには、JohnB が Xeon にあると述べたすべての機能 (SSE の代わりに高度な SIMD、64 ビット計算、オーバーラップ命令などを実行できます) があることを忘れないでください。 -spot: また、どの機能が含まれているかについてさまざまなオプションがあります (浮動小数点が必要ない場合は、浮動小数点なしのチップを購入してください)。そのため、特にその能力を考慮すると、魅力的なオプションであることがわかります。使用は、スーパーコンピューターの最大の継続的なコストです。
私にとっては、良い/安価なシステムとは思えません。最新の xeon CPU を考えてみましょう。クロック速度の 5 倍で動作する 8 つのコアがあるため、それだけで 40 倍の作業を行うことができます。さらに、このアプリケーションに適していると思われるSSEがあり、4つのことを並行して計算できます。つまり、最大で 160 倍の作業が必要になります。次に、マルチスレッドがあり、64ビット計算を実行でき、命令をオーバーラップできます。この種の作業では、少なくとも200倍高速になると思います。
そして最後に、少なくとも 200 個のローカル「ニューロン」の結果がローカル メモリに格納されますが、ラズベリー パイ ネットワークでは 200 個のニューロン間で通信する必要があります...これは非常に遅くなります。
ラズベリー pi は素晴らしいと思いますし、確かに少なくとも 1 つを取得する予定です:P しかし、「本物の」コンピューターのネットワークと競合する安価で高速なネットワークを構築するつもりはありません:P
とにかく、この種の最速のハードウェアは、小さなプログラムの多くのコピーを並行して実行するように設計されているグラフィック カード GPU である可能性があります。または、「ハードウェア」ニューロンの数百のコピーを使用して fpga をプログラムするだけです。
GPU と FPU は、この種の考え方を CPU よりもはるかに優れています。CDUA プログラミングをサポートする Nvidia GPU は、実質的に数百の個別の処理ユニットを備えています。または、少なくとも、ピクセル パイプ ラインの進化 (カードが複数のピクセルを並行してレンダリングできる) を使用して、速度を大幅に向上させることができます。CPU は、比較的複雑なステップを実行できるいくつかのコアを許可します。GPU では、単純なステップを実行できる数百のスレッドを使用できます。
そのため、単一の GPU などの単純なスレッドを使用するタスクでは、強力な CPU のクラスターが実行されます。(または Raspberry pi のスタック)
ただし、「コンドル」のようなものを実行するクラスターを作成する場合、これは、可変の開始点で同じ数学モデルを何百万回も実行する疾患発生モデリングなどに使用できます。（アウトブレイクの大きさ、風向き、病気の感染力など）なので、パイのようなものが理想的です。一般的に、標準コードを実行できる本格的な CPU を探しているので、http://research.cs.wisc.edu/condor/
このアプローチのよく知られている使用法には、「Seti」または「folding at home」（エイリアンの検索と癌研究）があります。
多くの大学がこのようなクラスタを持っているので、ラズベリーパイのマルチプルのアプローチを試みている大学も見られます。
しかし、脳内の神経細胞をシミュレートするには、複数のシステムを 1 つとして機能させる特別な OS とアプリケーションであるノード間のレイテンシを非常に低くする必要があります。また、ノード間のレイテンシーを 1 ミリ秒未満にするために、それをリンクするための特別なネットワークも必要です。
http://en.wikipedia.org/wiki/InfiniBand
ラズベリーはこれをまったく管理しません。
そうです、人々はそれらからクラスターを作り、とても喜んでくれると思います。しかし、大学や小さな組織の方が多いと思います。トップクラスのスーパーコンピューターと競合するつもりはありません。
いくつかを入手して、クラスター内の現在のノードに対してテストし、デュエル コア 3.2 GHz CPU を搭載し、650 ポンドの費用がかかるデスクトップと比較してみることにします。25個のラズベリーを手に入れることができ、消費電力がはるかに少ないと思いますので、比較するのは興味深いでしょう. これは、病気の発生モデリング用になります。
私は、混沌とした時系列予測 (エコー状態ネットワークを使用) の分野で、大量のニューラル ネットワークの研究を行っています。このようにラズベリー PI を使用しても、強力な CPU や GPU よりもメリットがほとんどないことがわかりますが、ラズベリー PI を使用して複数のマシンへのシミュレーション ジョブの分散を管理しています。大きなコアの処理能力の利点は、ラズベリー PI で可能なことを釘付けにします。それだけでなく、この構成で複数の PI を実行すると、同期、データ転送などを待機する大きなオーバーヘッドが発生します。 PI は、ネットワーク データのソースをホストし、ジョブをエージェント マシンに仲介します。
それはすべて、実行したいコンピューティングのタイプによって異なります。プロセッサ キャッシュと RAM メモリ間のメモリ移動があまりなく、非常に数値集約的なアルゴリズムを実行している場合は、GPU ソリューションが示されます。その中間は、SIMD アセンブリ言語命令を使用する Intel PC チップです。それでも、RAM との間でデータを転送できる速度によって簡単に制限される可能性があります。ほぼ同じコストで、ボードあたり 4 コア、ボードあたり 2Gb RAM の ARM ボードを 50 枚入手できます。それは 200 コアと 100 Gb の RAM です。CPU と RAM の間で 1 秒間にシャッフルできるデータ量は非常に多くなります。これは、大きな重みベクトルを使用するニューラル ネットワークに適したオプションです。また、最新の ARM GPU と新しい nVidea ARM ベースのチップ (スレート タブレットで使用) にも GPU コンピューティングがあります。
ニューラル ネットワークはトレーニングに費用がかかりますが、実行するのは非常に安価です。これら (クラスター化されていても) を使用して無限のエポックの学習セットを反復することはお勧めしませんが、重みを取得したら、学習努力をそれらに移すことができます。
このように使用すると、1 つのラズベリー パイは 1 つのニューロンよりもはるかに多くの場合に役立ちます。メモリと CPU の比率を考えると、その規模ではメモリ バウンドになる可能性があります。約 300 メガバイトの空きメモリ (OS/ドライバーなどによって異なります) があり、8 バイトの倍精度重みで作業していると仮定すると、上限は 5000 個の「ニューロン」(ただし、他の多くの要因がこれを変更する可能性があり、「紐の長さはどれくらいですか?」と尋ねるようなものです。
サウサンプトン大学の一部のエンジニアは、Raspberry Pi スーパーコンピューターを構築しました。