シンボリック リンクは、Hadoop 2.0 でFileContext
オブジェクトcreateSymlinks()
メソッドを使用してサポートされています。
前月のすべてのファイルをHadoopアーカイブ(HAR)に配置するプログラムでシンボリックリンクを多用することを検討していますが、シンボリックリンクを使用すると、HDFSに小さなファイルを配置するのと同様にNamenodeメモリが消費され、これらを配置する目的が無効になるかどうか疑問に思っていますHAR で、ラウンドロビンを小さなファイルの元の問題に導きます。
また、シンボリック リンクを使用する理由は、ファイルが HAR された (そして結果として移動された) ときに、新しいファイルの場所で HBase を更新する必要がないようにするためです。
NameNode のシンボリックリンクのメモリフットプリントは?