2

WSO2 BAM 2.0.1 を外部の Hadoop クラスター (完全に分散) に接続したいと考えています。セットアップのためにこのリンクをたどりました

Apache ハイブの構成

ただし、Hive スクリプトを実行すると、次のエラーが表示されます

java.sql.SQLException: クエリがゼロ以外のコードを返しました: 9、原因: FAILED: 実行エラー、org.apache.hadoop.hive.ql.exec.MapRedTask からの戻りコード -101

この Hive スクリプトは、ローカルの Hadoop モードで正常に動作します...

外部の Hadoop クラスターを使用する場合、Hive スクリプトにも変更を加える必要がありますか?

これらは、コンソールに表示されるエラーです..

TID: [0] [BAM] [2013-01-16 09:42:36,583] INFO {org.apache.hadoop.hive.ql.exec.Utilities} - hdfs://r4p8n0c:9000/ のコンテンツ概要がキャッシュされていませんuser/hive/warehouse_wso2-1234/aeanalyticstable_demo {org.apache.hadoop.hive.ql.exec.Utilities}
TID: [0] [BAM] [2013-01-16 09:42:36,583] INFO {org.apache. hadoop.hive.ql.exec.Utilities} - hdfs://r4p8n0c:9000/user/hive/warehouse_wso2-1234/aeanalyticstable_demo {org.apache.hadoop.hive.ql.exec.Utilities}
TID のコンテンツ サマリーがキャッシュされない: [0] [BAM] [2013-01-16 09:42:36,590] INFO {org.apache.hadoop.hive.ql.exec.ExecDriver} - 非ネイティブ テーブル hdfs://r4p8n0c:9000/user を追加します/hive/warehouse_wso2-1234/aeanalyticstable_demo {org.apache.hadoop.hive.ql.exec.ExecDriver}
TID: [0] [BAM] [2013-01-16 09:42:36,590] INFO {org.apache.hadoop.hive.ql.exec.ExecDriver} - 非ネイティブ テーブル hdfs://r4p8n0c:9000 を追加します/user/hive/warehouse_wso2-1234/aeanalyticstable_demo {org.apache.hadoop.hive.ql.exec.ExecDriver}
TID: [0] [BAM] [2013-01-16 09:42:36,832] エラー {org.apache .hadoop.hive.ql.Driver} - 失敗: 実行エラー、org.apache.hadoop.hive.ql.exec.MapRedTask {org.apache.hadoop.hive.ql.Driver} からの戻りコード -101
TID: [0 ] [BAM] [2013-01-16 09:42:36,832] エラー {org.apache.hadoop.hive.ql.Driver} - 失敗: 実行エラー、org.apache.hadoop.hive.ql からの戻りコード -101 .exec.MapRedTask {org.apache.hadoop.hive.ql.Driver}
TID: [0] [BAM] [2013-01-16 09:42:36,833] INFO {org.apache.hadoop.hive.ql.Driver } - {org.apache.hadoop.hive.ql.Driver}
TID: [0] [BAM] [2013-01-16 09:42:36,833] INFO {org.apache.hadoop.hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID: [0] [BAM] [2013-01-16 09:42:36,833] INFO {org.apache.hadoop.hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID: [0 ] [BAM] [2013-01-16 09:42:36,833] INFO {org.apache.hadoop.hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID: [0] [ BAM] [2013-01-16 09:42:36,834] INFO {org.apache.hadoop.hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID: [0] [BAM] [2013-01-16 09:42:36,834] INFO {org.apache.hadoop.hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID: [0] [BAM] [2013-01-16 09:42:36,834] エラー {org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl} - Hive スクリプトの実行中にエラーが発生しました。
クエリがゼロ以外のコードを返しました: 9、原因: FAILED: 実行エラー、org.apache.hadoop.hive.ql.exec.MapRedTask からの戻りコード -101 {org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl}
java .sql.SQLException: クエリがゼロ以外のコードを返しました: 9、原因: FAILED: 実行エラー、org.apache.hadoop.hive.jdbc
の org.apache.hadoop.hive.ql.exec.MapRedTask からコード -101 を返します。 HiveStatement.executeQuery(HiveStatement.java:189)
at org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl$ScriptCallable.call(HiveExecutorServiceImpl.java:325)
org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl$ScriptCallable.call(HiveExecutorServiceImpl.java:225)
で java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
で java.util.concurrent で.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908
) java.lang.Thread.run(Thread.java:662)
TID: [0] [BAM] [2013-01-16 09:42:36,848] エラー {org.wso2.carbon.analytics.hive.ui.client.HiveExecutionClient} - Hive スクリプトの実行中にエラーが発生しました。クエリはゼロ以外を返しましたコード: 9、原因: 失敗: 実行エラー、org.apache.hadoop.hive.ql.exec.MapRedTask {org.wso2.carbon.analytics.hive.ui.client.HiveExecutionClient} からの戻りコード -101

org.wso2.carbon.analytics.hive.stub.HiveExecutionServiceHiveExecutionException: sun.reflect.NativeConstructorAccessorImpl.newInstance0
(ネイティブ メソッド)

の HiveExecutionServiceHiveExecutionException (DelegatingConstructorAccessorImpl.java:27)
で java.lang.reflect.Constructor.newInstance(Constructor.java:513)
で java.lang.Class.newInstance0(Class.java:355)
で java.lang.Class.newInstance(Class.ジャワ:308)
org.wso2.carbon.analytics.hive.stub.HiveExecutionServiceStub.executeHiveScript(HiveExecutionServiceStub.java:215)
で org.wso2.carbon.analytics.hive.ui.client.HiveExecutionClient.executeScript(HiveExecutionClient.java:66)
で.apache.jsp.hive_002dexplorer.queryresults_jsp._jspService(queryresults_jsp.java:90)
org.apache.jasper.runtime.HttpJspBase.service(HttpJspBase.java:97)
で javax.servlet.http.HttpServlet.service(HttpServlet.java ) :722)
org.apache.jasper.servlet.JspServletWrapper.service(JspServletWrapper.java:332)
で org.apache.jasper.servlet.JspServlet.serviceJspFile(JspServlet.java:314) で
org.apache.jasper.servlet.JspServlet.service(JspServlet.java:264)
で javax.servlet.http.HttpServlet.service(HttpServlet.java:722)
で org.wso2.carbon.ui.JspServlet.service(JspServlet ) .java:161)
の org.wso2.carbon.ui.TilesJspServlet.service(TilesJspServlet.java:80)
の javax.servlet.http.HttpServlet.service(HttpServlet.java:722)
の org.eclipse.equinox.http. helper.ContextPathServletAdaptor.service(ContextPathServletAdaptor.java:36)
at org.eclipse.equinox.http.servlet.internal.ServletRegistration.handleRequest(ServletRegistration.java:90)
at org.eclipse.equinox.http.servlet.internal.ProxyServlet. processAlias(ProxyServlet.java:111)
org.eclipse.equinox.http.servlet.internal.ProxyServlet.service(ProxyServlet.java:67)
で javax.servlet.http.HttpServlet.service(HttpServlet.java:722)
で org.wso2.carbon.tomcat.ext で.servlet.DelegationServlet.service(DelegationServlet.java:68)
org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:305) org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210
) )
org.apache.catalina.core.ApplicationDispatcher.invoke(ApplicationDispatcher.java:690)
で org.apache.catalina.core.ApplicationDispatcher.doInclude(ApplicationDispatcher.java:599) で

4

2 に答える 2

0

外部 Hadoop クラスタを適切にセットアップしていれば、動作するはずです。外部 Hadoop クラスターでテスト済みです。問題が発生した場合は、Hadoop クラスタ ノードのエラー ログも確認してください。Hadoop クラスターに関連する構成の問題を見つけるのに役立ちます。UI に表示される問題があまり役に立たない場合があるためです。外部クラスターで動作するように Hive スクリプトを変更する必要はありません。

ありがとう、カスン。

于 2013-01-15T16:38:47.873 に答える
0

WSO2 BAM を外部の完全分散型 Hadoop と連携させることができます。

バージョン 2.0.1 では、map-reduce ジョブを外部 Hadoop クラスターに送信する際に問題が発生しているようです。2.0.0 にロールバックすると、Hive スクリプトが機能し始めました。

これが 2.0.1 の既知の問題かどうか知りたいですか? 2.0.1 の簡素化されたバージョンがありました (カーボン、Analytics/AnalyticsUI、Dashboard、Registry、Databridge、datasource、stratos、security、tasks、および transport 管理機能のみが含まれています)。

ありがとうラジブ

于 2013-01-18T05:27:42.397 に答える