3

getLocalCacheFiles()は廃止されたため、代替手段を見つけようとしています。getCacheFiles()は 1 つのようですが、同じかどうかは疑問です。

addCacheFile()を呼び出すと、HDFS のファイルがすべてのノードにダウンロードされ、それを使用してローカライズされたgetLocalCacheFiles()ファイル パスを取得し、ローカル ファイル システムから読み取ることができます。ただし、返されるのは HDFS 内のファイルの URI です。この URI でファイルを読み取る場合、まだローカル ファイル システムではなく HDFS から読み取っているとは思えません。getCacheFiles()

上記は私の理解であり、正しいかどうかはわかりません。もしそうなら、代わりになるものは何getLocalCacheFiles()ですか？そもそも、なぜ Hadoop はそれを廃止するのでしょうか?

4

1 に答える 1

6

オープンソースです。@Deprectatedcommit 735b50e8bd23f7fbeff3a08cf8f3fff8cbff7449はMAPREDUCE -4493用です。JIRA の最後に、次のディスカッションがあります。

Omkar Vinit Joshi がコメントを追加しました - 2013 年 7 月 13 日 00:18
Robert Joseph Evans もし jobContext() で getLocalCacheFiles と getCacheFiles を非推奨にするとしたら、ユーザーは map タスクでローカルにキャッシュされたファイルをどのように取得するのでしょうか? YARN-916 は関連する問題です..ありがとう。

Robert Joseph Evans がコメントを追加しました - 2013 年 7 月 19 日 15:27
Omkar Vinit Joshi現在の作業ディレクトリのシンボリック リンクを開く. YARN より前のデフォルトの動作では、現在の作業ディレクトリに分散キャッシュ内のアイテムを指すシンボリック リンクを作成しませんでした。リンクが必要な場合は、特にそのオプションをオンにして、必要なシンボリック リンクの名前を指定する必要がありました。シンボリック リンクのないファイルにアクセスする唯一の方法は、getLocalCacheFiles と getCacheFiles を呼び出すことでした。YARN では、すべてのファイルにシンボリック リンクが作成されます。ファイル/ディレクトリの名前は、シンボリック リンクの名前になります。ただし、必要な hdfs://foo/bar.zip と hdfs://bar/bar.zip で名前が競合する可能性があります。1.0 では、これらの両方がダウンロードされ、非推奨の API を介してアクセスできますが、YARN では警告が出力され、そのうちの 1 つだけがダウンロードされます。また、これらの API の記述方法が原因で、マッパー コードはそれらの 1 つだけがダウンロードされたことを認識できず、不足している API を見つけて爆破することができません。そのため、動作が常に一貫しているように、常にシンボリックリンクを使用するよう人々に促すことを支持して、それらを非推奨にしました。

Omkar Vinit Joshi がコメントを追加しました - 2013 年 7 月 19 日 16:56
Robert Joseph Evans は良さそうですが、これにより、ファイル名に基づいて制限を設けることになります。コードをマップし、ユーザーはそれを回避するためにそれらを確実にバージョン管理できます...ありがとう...

したがって、ファイルを開くだけで、そこにあるはずです。専用の API はありません。

于 2014-10-21T18:17:11.527 に答える