問題タブ [distributed-cache]

Hadoop In Action という本を読んでいるときに、小さなファイルをプログラム経由で分散キャッシュに追加するのではなく、-files ジェネリック オプションを使用して実行できるというオプションがありました。

コードの setup() でこれを試したところ、 fs.open() で FileNotFoundException が発生し、不明なパスが表示されます。

質問: デフォルトで -files ジェネリック オプションを使用すると、HDFS のどこにファイルがコピーされますか?

実行しようとしているコードは以下のとおりです..

これは、トレースに表示される以下の例外です

私は次のように仕事を始めます

どんな指示も本当に役に立ちます。ありがとう

出力ファイルを作成する MapReduce ジョブがありpart-00000、このジョブの完了後にもう 1 つのジョブが実行されているとします。

2 番目のジョブの分散キャッシュにある最初のジョブの出力ファイルを使用するにはどうすればよいですか。

すべてのストレージ階層 (メモリ ストア、オフヒープ ストア、ディスク ストア) で EhCache に保持できる値の最大サイズは?

最終的な質問は、EhCache は大きなファイル ストリームをキャッシュするのに適していますか?

すべてがうまくいっていることを願っています。私は Infinispan を初めて使用するので、助けが必要です。分散モードで実行されている 3 つのノードのクラスターがあるとします。次のシナリオを検討してください。

インフィニスパン バージョン: 7.1.1

ノード数 = 3 (NodeA、NodeB、NodeC)

モード = 分散

所有者数 = 2

クラスタ内のキー/値の数 = 3 [(k1,v1),(k2,v2),(k3,v3)]

各ノードでのキーの配布:

ノードA --> k1,k2

NodeB --> k2,k3

NodeC --> k3,k1

ここで、ノード B がダウンしているとします。

Q1. 次のシナリオはこのようなものでしょうか?

ノード A --> k1、k2、k3

NodeC --> k3、k1、k2

Q2. ノード B が再び有効になったら、次のようにクラスターを元の状態に戻します。

ノードA --> k1,k2

NodeB --> k2,k3

NodeC --> k3,k1

上記の 2 つの状態 (ノード障害後およびノー​​ド回復後) を達成できるメカニズムはありますか?

誰でも私を助けることができますか？どんな助けでも大歓迎です。

とにかく、map reduce フレームワークではノード間で多くのファイル転送があります。次に、分散キャッシュを使用するとパフォーマンスがどのように向上しますか。

UDF のファイル (sample.txt) にアクセスしようとしています。そのファイルを分散キャッシュに入れて、そこから使用したいと考えています。Pig ジョブを実行するために amazon EMR を使用しています。クラスターの作成中に EMR ブートストラップ アクションを使用してファイル (sample.txt) を HDFS にコピーしています。

bootstrap.sh (ファイルを s3 から hdfs にコピー)

UsingSample.java (sample.txt を使用する UDF)

}

create_cluster.sh (クラスターを作成し、Pig スクリプトを実行するスクリプト)

getCacheFiles() で sample.txt にアクセスしようとすると、FileNotFound 例外が発生します。

私は使っている：

Hadoop 2.4 Pig 0.12

助けてください。