datafu.pig.stats.StreamingQuantileLinkedIn の素晴らしいDataFuライブラリで使用しようとしています。ただし、最初のStreamingQuantile使用量に達すると、Pig から次のエラーが発生します。
2013-08-03 00:55:45,294 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2998: Unhandled internal error. org/apache/pig/Accumulator
ログファイルには、次のように表示されます。
Pig Stack Trace
---------------
ERROR 2998: Unhandled internal error. org/apache/pig/Accumulator
java.lang.NoClassDefFoundError: org/apache/pig/Accumulator
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:792)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
(snip)
registerguava.jar と pig.jar をインクルードするために使用してみました。どちらも助けません。ベルトとサスペンダーのアプローチとして、lib からいくつかの jar を含めてみました。
register file:/home/hadoop/lib/guava-13.0.1.jar
register file:/home/hadoop/lib/pig/pig-0.11.1.1-amzn.jar
register file:/home/hadoop/lib/pig/pig.jar
register s3://my-s3-location/datafu-0.0.10.jar
register file:/home/hadoop/lib/pig/piggybank.jar
これは一般的ではないようです。つまり、明らかに NoClassDefFoundError は一般的ですが、特に DataFu ではアキュムレータではありません。これはstackoverflowに関する最も近い質問ですが、hbaseに関連しているため、役立つものは何も見つかりませんでした. 残念ながら、この質問に対する唯一の答えは、私が試したことも示しています。