3

ソースとシンクとして Hbase を使用する MapReduce ジョブを実行しようとしています。しかし、HBase クライアント パッケージ 0.92.1 を使用しようとすると、うまくいくようです。しかし、バージョン 0.94.2 以降を使用すると、次の DNS 関連のエラーが発生しました。新しい HBase クライアント パッケージを使用したいのですが、何が問題なのか教えていただければ幸いです。ありがとう

IPv6 を無効にして、まったく使用していません。DNSclient の文字列を解析できない理由がわかりません。

Exception in thread "main" java.lang.NumberFormatException: For input string:     "4f8:0:a102::add:9999"
at java.lang.NumberFormatException.forInputString(NumberFormatException.java:48)
at java.lang.Integer.parseInt(Integer.java:458)
at java.lang.Integer.parseInt(Integer.java:499)
at com.sun.jndi.dns.DnsClient.<init>(DnsClient.java:103)
at com.sun.jndi.dns.Resolver.<init>(Resolver.java:44)
at com.sun.jndi.dns.DnsContext.getResolver(DnsContext.java:553)
at com.sun.jndi.dns.DnsContext.c_getAttributes(DnsContext.java:413)
at com.sun.jndi.toolkit.ctx.ComponentDirContext.p_getAttributes(ComponentDirContext.java:213)
at com.sun.jndi.toolkit.ctx.PartialCompositeDirContext.getAttributes(PartialCompositeDirContext.java:121)
at com.sun.jndi.toolkit.url.GenericURLDirContext.getAttributes(GenericURLDirContext.java:85)
at javax.naming.directory.InitialDirContext.getAttributes(InitialDirContext.java:123)
at org.apache.hadoop.net.DNS.reverseDns(DNS.java:85)
at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.reverseDNS(TableInputFormatBase.java:219)
at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.getSplits(TableInputFormatBase.java:184)
at org.apache.hadoop.mapred.JobClient.writeNewSplits(JobClient.java:1064)
at org.apache.hadoop.mapred.JobClient.writeSplits(JobClient.java:1081)
at org.apache.hadoop.mapred.JobClient.access$600(JobClient.java:174)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:993)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:946)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:946)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:566)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:596)
at hbase_mapred1.FreqCounter1.main(FreqCounter1.java:86)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:208)
4

2 に答える 2

1

これは Java の既知の問題のようです。https://bugs.openjdk.java.net/browse/JDK-6991580、Oracle のバグもあると確信していますが、見つかりませんでした。

于 2014-01-21T11:03:44.333 に答える
0

一般に、HBase と Hadoop のバージョンを混在させる場合は、互いにうまく機能しないことが多いため、細心の注意を払う必要があります。HBase / Hadoop / Hive / Pig などの互換性のあるバージョンをバンドルする Cloudera のディストリビューションのようなものを使用すると、本当に役立ちます...

バージョン 0.94.2 の HBase を使用する特定の理由はありますか?

于 2013-05-21T22:12:54.837 に答える