問題タブ [distributed-cache]

ironyx/dache分散キャッシュに使用しています。
のシングルトン オブジェクトを作成CacheClientし、現在のプロジェクトで使用しています。

dache の CacheClient を使用して、これでよろしいですか?

分散キャッシュとレプリケーションのサポートに関して、ehcache または BigMemory GO と BigMemory Max の違いを理解できる人はいますか? RMIEventListener を使用すると、ehCache も分散キャッシュをサポートし、BigMemory Max は Terracota サーバー アレイを使用することがわかります。パフォーマンスにどのように影響しますか? これらの 2 つの手法の違いは何ですか?

このトピックに関する他のすべてのスレッドを見てきましたが、まだ答えが見つかりません...

簡単に言えば、UDF 内から直接ではなく、Pig StoreFunc から Hadoop 分散キャッシュにアクセスしたいのです。

関連する PIG コード行:

関連する Java コード:

configName は、分散キャッシュから読み取ることができるローカル ファイルの名前ですが、FileNotFoundException が発生しています。PIG UDF 内からまったく同じコードを直接使用すると、ファイルが見つかるため、ファイルが分散キャッシュ経由で送信されていることがわかります。これが確実に発生するように、適切なパラメーターを設定します。

これを回避する方法はありますか？

ありがとう！

Spark の Hadoop の分散キャッシュに似た機能を探しています。いくつかの計算を行うために、すべてのノードに存在する比較的小さなデータ ファイル (いくつかのインデックス値を含む) が必要です。Spark でこれを可能にするアプローチはありますか?

これまでの私の回避策は、通常の処理としてインデックス ファイルを配布して縮小することで構成されており、私のアプリケーションでは約 10 秒かかります。その後、次のように、ブロードキャスト変数として示すファイルを永続化します。

これにより、プログラムは変数globalIndexの内容を理解できるようになります。これまでのところ、私にとっては問題ないかもしれないパッチですが、最善の解決策ではないと考えています. かなり大きなデータセットや大量の変数でも効果があるでしょうか?

注: 複数の EC2 インスタンスに配置されたスタンドアロン クラスターで実行されている Spark 1.0.0 を使用しています。

Hadoop 1.0.4 コードを Hadoop 2.3 プラットフォームに移行していて、DistributedCache の奇妙な動作変更に遭遇しました。

Hadoop 1 では、ファイルを にキャッシュする場合/user/foo/file/bar/name.avro、DistributedCache はこのファイルをローカル キャッシュ フォルダーにコピーし、それに応じて同じサブ ディレクトリを作成します。したがって、ファイルは に保存され/[ROOT_OF_TMP_CACHE_DIR]/user/foo/file/bar/name.avroます。

現在、Hadoop 2 の同じコードは、サブディレクトリを作成せずにファイルをルート フォルダーに直接配置します。したがって、キャッシュされたファイルは次の場所に保存されます/[ROOT_OF_TMP_CACHE_DIR]/name.avro。

複数のファイルをキャッシュしている場合、特にファイル名がpart-r-00000.avro.

もちろん、リンクを適用し、キャッシュされたファイルの名前を一意の名前に変更することは、この問題を解決する 1 つの方法です。しかし、より一般的には、一意の名前を作成することは、多くの場合、特に異なるマッパー/リデューサー間で一意の名前を保証する必要がある場合は簡単に思えます。tmp ディレクトリ内にフォルダーを作成するか、mapreduce 構成パラメーターを調整するなど、この動作を変更する他の方法があるかどうか疑問に思っています。

私が試した 1 つの方法は、URI を「path#path」にしようとすることです。そのため、自分自身にリンクしていますが、次の例外が発生するようです。

getLocalCacheFiles()は廃止されたため、代替手段を見つけようとしています。getCacheFiles()は 1 つのようですが、同じかどうかは疑問です。

addCacheFile()を呼び出すと、HDFS のファイルがすべてのノードにダウンロードされ、それを使用してローカライズされたgetLocalCacheFiles()ファイル パスを取得し、ローカル ファイル システムから読み取ることができます。ただし、返されるのは HDFS 内のファイルの URI です。この URI でファイルを読み取る場合、まだローカル ファイル システムではなく HDFS から読み取っているとは思えません。getCacheFiles()

上記は私の理解であり、正しいかどうかはわかりません。もしそうなら、代わりになるものは何getLocalCacheFiles()ですか？そもそも、なぜ Hadoop はそれを廃止するのでしょうか?