問題タブ [distributed-computing]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
distributed-computing - 大規模分散システムのログ ファイル
私はグリッドと HPC 空間で多くの作業を行っていますが、数百 (場合によっては数千) のサーバーに分散されたシステムで直面する最大の課題の 1 つは、ログ ファイルの分析です。
現在、ログ ファイルは各ブレードのディスクにローカルに書き込まれますが、UDP アペンダーなどを使用してログ情報を公開し、中央で収集することも検討できます。
できるだけリアルタイムに近い状態で問題を特定できるようにすることが目的であるとすると、何をすべきでしょうか?
java - JavaSpaces の Blitz 実装の使用
私はこのフォーラムについて非常に疑問を持っていますが、喜んで驚かせたいと思います ;)私を軌道に乗せてくれた人々への称賛と大きなカルマ.
JavaSpaces ( http://www.dancres.org/blitz/blitz_js.html ) の blitz 実装を使用して、 http: //today.java.net/pub/a/today/ で提供されている ComputeFarm の例を実装しようとしています。 2005/04/21/farm.html
インメモリの例は問題なく動作しますが、blitz のアウトオブボックス実装を使用しようとすると、次のエラーが発生します。
（はいcom.sun.jini.mahalo.TxnMgrProxy、クラスパスにあります）
grid - グリッドとしての分散システムの開発
分散システムをグリッドとして開発した経験のある人はいますか?
グリッドとは、すべてのノードが同一で、中央管理やデータベースなどがない分散システムを意味します。
グリッドは、CPU、メモリ、ディスク、帯域幅などの均一な分散をどのように実現できますか?
linux - コモディティ Linux ストレージ ファームに最適な分散ファイル システム
予備の Intel Linux サーバーが多数 (数百台) 配置されており、それらを Web ホスティングおよびファイル共有環境の分散ファイル システムに使用したいと考えています。これは HPC アプリケーション向けではないため、高いパフォーマンスは重要ではありません。主な要件は高可用性です。1 つのサーバーがオフラインになっても、そのハード ドライブに保存されているデータは他のノードから引き続き利用できます。TCP/IP 上で実行し、標準の POSIX ファイル権限を提供する必要があります。
私は以下を見てきました：
Lustre ( http://wiki.lustre.org/index.php?title=Main_Page ):非常に近いですが、ノード上のデータに冗長性はありません。RAID または DRBD を使用してデータを HA にする必要があります。Sun とオープン ソースでサポートされているため、しばらくは使用できるはずです
gfarm ( http://datafarm.apgrid.org/ ): 冗長性を提供しているように見えますが、複雑さと保守性が犠牲になっています。Lustre ほどサポートされていません。
これらのシステムまたは他のシステムで動作する可能性のある経験がある人はいますか?
distributed-computing - 企業間でメッセージを送信する方法
企業間でのメッセージ/データ/ファイルの自動転送を設定する必要があることに気付くことがよくあります。
巨大なEDIFACT、Odette、およびその他のいくつかの「大きな」電子データ交換標準に加えて、すべての業界には、数十または数百の比較的健全な比較的軽量で、注文などの比較的十分に文書化されたファイル形式があります。
私が見逃しているのは、この形式のファイルをマシン間で移動するための正しいプロトコルです。プロトコルはサポートする必要があります
- 認証
- MSWindowsおよびUNIXの標準ツールで使用可能
- 次のようなトランザクションをサポートします：ファイルが転送されるか、転送されないか。ただし、半分転送された状態で受信されることはありません。
- トランスポート暗号化
- ファイアウォールに優しい
- 「バンドル」する方法。たとえば、xmlの説明とPDFの束。
今日、基本的に誰もがFTPにフォールバックします。しかし、FTPサーバーは、要件3、5、および6を満たすのに苦労しています。
もっと良い方法はありますか？Amazon SQSのようなものは、ある会社から別の会社にメッセージを送信するために使用できますか？
明確化：私は中小企業を意味します。私たちのパートナーには通常、社内の開発者がいなくて、時には社内のIT担当者さえいません。したがって、接続の少なくとも片側で、最小限のセットアップ作業を行う必要があります。
java - JavaSpaces テクノロジを使用している人はいますか?
JavaSpaces テクノロジの実際の実用的な用途はありますか? また、それはどのように正確に実装されていますか?
hadoop - Hadoopストリーミングジョブの出力ファイル名とコンテンツを制御するにはどうすればよいですか？
Hadoopストリーミングジョブの出力ファイル名を制御する方法はありますか？具体的には、ジョブの出力ファイルの内容と名前を、レデューサーが出力するketごとに整理する必要があります。各ファイルには1つのキーの値のみが含まれ、その名前がキーになります。
更新：答えが見つかりました-ジョブの出力形式としてMultipleOutputFormatから派生したJavaクラスを使用すると、出力ファイル名を制御できます。 http://hadoop.apache.org/core/docs/current/api/org/apache/hadoop/mapred/lib/MultipleOutputFormat.html
このためのサンプルは見たことがありません...カスタム出力形式のJavaクラスを使用するHadoopストリーミングサンプルを誰かが指摘できますか？