1

Hadoopドキュメントで説明されている一括読み込み方法を使用して、テキストファイル（数GB）からHBaseテーブルをすばやく一括入力しようとしています。

HFileを作成しました。これをHBaseテーブルにプッシュします。

このコマンドを使用する場合：

hadoop jar /home/hxcaine/hadoop/lib/hbase.jar completebulkload /user/hxcaine/dbpopulate/output/cf1 my_hbase_table

ジョブが開始され、次の例外が発生します。

Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/util/concurrent/ThreadFactoryBuilder
        at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.doBulkLoad(LoadIncrementalHFiles.java:195)
        at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.run(LoadIncrementalHFiles.java:696)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
        at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.main(LoadIncrementalHFiles.java:701)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)
        at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:139)
        at org.apache.hadoop.hbase.mapreduce.Driver.main(Driver.java:49)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:197)
Caused by: java.lang.ClassNotFoundException: com.google.common.util.concurrent.ThreadFactoryBuilder
        at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:248)
        ... 17 more

ただし、Guava jarがクラスパスにあることがわかります。jarの内部を確認すると、が表示されますThreadFactoryBuilder.class。

私はこれらのバージョンを使用しています（そしてそれらに固執しています）：

  • Hadoop 0.20.2-cdh3u3
  • HBase 0.90.4-cdh3u3
  • グアバjar：/usr/lib/hadoop-0.20/lib/guava-r09-jarjar.jar

クラスパスに古いGuavajarがありますが、それがどこから来たのかわかりません。効果があるとは思いません。

何か案は？

4

1 に答える 1

4

実行するとどうなりますか：

export HADOOP_CLASSPATH=`hbase classpath`

ロードを実行する前に？スタックトレースから、jarが実際のタスクの1つに必要であるように見えますが、これが実際にM/Rジョブを開始するのを見て驚いています。

于 2012-07-27T17:27:53.287 に答える