UDF の分散キャッシュからファイルを取得することはできますか?
さらに掘り下げる前に、この特定の質問 (StackOverflow など) に対する答えを見つけるのにかなりの時間を費やしましたが、見つけることができませんでした。
問題の主な核心は次のとおりです。すでに HDFS にあるファイルを取得し、それを Pig の分散キャッシュにコピーしてから、このファイルを Java UDF のキャッシュから読み取れるようにしたいと考えています。もう 1 つの問題は、プログラムの設計により、「EvalFunc」から拡張できないことです。これにより、問題が解決する可能性があります。
SET mapred.cache.files '$PATH_TO_FILE_ON_HDFS'Pig スクリプトと同様に指定SET mapped.create.symlink 'yes'し、ファイル パスをパラメーターとして UDF に渡し、FileSystem および FileReader クラスを使用してファイルにアクセスしようとしましたが、無駄でした。
これをさらに明確にすることができるかどうか、または関連する詳細を提供できるかどうかをお知らせください。