Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
約 300 MB のサードパーティ ライブラリを必要とする mapreduce ジョブを実行しています。ジョブの実行時にライブラリをデータ ノードにコピーするコストを回避するため。ジョブの開始前にこれらのライブラリをすべてのデータ ノードに事前展開できる方法/ツールがあるかどうか疑問に思います。
前もって感謝します。
Hadoop の分散キャッシュにデプロイできます。ペレ・フェレーラ・ベルトランはこれをうまく説明しています