問題タブ [hue]

Hadoop アーキテクチャを実行するように事前構成された Impala ベースの Cent OS を実行しています。Hue を使用してテーブル形式の .csv ファイルを自動生成しています。にファイルをアップロードしました/usr/hive/warehouse。アップロードする前に、ファイルから列ヘッダーを削除するようにしています。

ただし、次の例外が表示されます Exception communicating with Beeswax (Hive UI) Server at localhost:21000: BeeswaxException(errorCode=0, log_context='', message="com.cloudera.impala.common.AnalysisException: Syntax error at:\n\nCREATE TABLE `2012_Q4`\n^\n(\n `col_0` string ,\n `col_1` string ,\n `col_2` string ,\n `col_3` string ,\n `col_4` string ,\n `col_5` string ,\n `col_6` string ,\n `col_7` string ,\n `col_8` string ,\n `col_9` string ,\n `col_10` string ,\n `col_11` string ,\n `col_12` string ,\n `col_13` string ,\n `col_14` string ,\n `col_15` string ,\n `col_16` string ,\n `col_17` string ,\n `col_18` string ,\n `col_19` string ,\n `col_20` string ,\n `col_21` string ,\n `col_22` string ,\n `col_23` string ,\n `col_24` string ,\n `col_25` string ,\n `col_26` string ,\n `col_27` string ,\n `col_28` string ,\n `col_29` string ,\n `col_30` string ,\n `col_31` string ,\n `col_32` string ,\n `col_33` string ,\n `col_34` string ,\n `col_35` string ) \nROW FORMAT DELIMITED\n FIELDS TERMINATED BY ','\nEncountered: IDENTIFIER\nExpected: DESCRIBE, SELECT, SHOW, USE, INSERT\n\n\tat com.cloudera.impala.analysis.AnalysisContext.analyze(AnalysisContext.java:135)\n\tat com.cloudera.impala.service.Frontend.createExecRequest(Frontend.java:221)\n\tat com.cloudera.impala.service.JniFrontend.createExecRequest(JniFrontend.java:89)\nCaused by: java.lang.Exception: Syntax error\n\tat com.cloudera.impala.analysis.SqlParser.unrecovered_syntax_error(SqlParser.java:1369)\n\tat java_cup.runtime.lr_parser.parse(lr_parser.java:616)\n\tat com.cloudera.impala.analysis.AnalysisContext.analyze(AnalysisContext.java:125)\n\t... 2 more\n", SQLState='42000', handle=QueryHandle(log_context='', id=''))

tarball を使用して cloudera CDH4.2 をインストールしました。しかし、ブラウザでhueを起動しようとすると、localhost:8003に接続できませんでした.

さらに、ログ ファイルに次のエラーが表示されます。

http://'localhost':50070/webhdfs/v1/ で WebHdfs のスーパーユーザーを特定できませんでした: トレースバック (最新の呼び出しが最後):

誰か助けてくれませんか。

よろしく、 ジェイエンドラ

ハイブを実行している 3 ノードのクラスターがあります。クラスターの外部からテストを実行しようとすると、以下のエラーが表示されます

失敗: メタデータのエラー: java.lang.RuntimeException: org.apache.hadoop.hive.metastore.HiveMetaStoreClient をインスタンス化できません 失敗: 実行エラー、org.apache.hadoop.hive.ql.exec.DDLTask ログからの戻りコード 1 が初期化されましたファイル内の構成を使用:/net/slc01nwj/scratch/ashsshar/view_storage/ashsshar_bda_latest_2/work/hive_scratch/conf/hive-log4j.properties

クラスターノードにログインしてハイブを実行すると、正常に動作します。

ハイブ > データベースを表示します。OK デフォルト

テスト ログ ファイルに次のエラーが生成される

13/04/04 03:10:49 エラー security.UserGroupInformation: PriviledgedActionException as:ashsshar {my username }(auth:SIMPLE) cause:java.io.IOException: javax.jdo.JDOFatalDataStoreException: データベース '/var/ の作成に失敗しましたlib/hive/metastore/metastore_db'、詳細については次の例外を参照してください。NestedThrowables: java.sql.SQLException: データベース '/var/lib/hive/metastore/metastore_db' の作成に失敗しました。詳細については、次の例外を参照してください。

私のhive-site.xmlファイルにはこの接続プロパティが含まれています::

クラスター ノードでを変更し/var/lib/hive/metastore/metastore_dbましたが、それでも同じエラーが発生します

上記のディレクトリからすべての *lck ファイルを削除しようとしました

Hadoop クラスターをセットアップし (Cloudera Manager を介して Cloudera ディストリビューションを使用)、Hue インターフェイスを使用していくつかの Hive クエリを実行しています。

すべてのクエリが正常に実行され、カスタム UDF のデプロイにも成功しました。

しかし、UDF を展開しているときに、非常に苛立たしいバージョン管理の問題に遭遇しました。UDF クラスの最初のバージョンでは、StackOverflowError.

このエラーを修正し、UDF をデプロイして、Hive コマンド ラインから正常に使用できることを確認しました。

その後、もう一度 Hue と Beeswax を使用したときに、同じエラーが発生し続けました。UDF Java クラス名を変更することによってのみ、これを修正できました。( からLowerまでLower2)。

さて、私の質問は、これらの種類のバージョンの問題に対処する適切な方法は何ですか?

私が理解していることから、左側の便利なフォーム フィールドを使用して jar を追加すると、分散キャッシュに追加されます。では、分散キャッシュを更新/クリアするにはどうすればよいですか? LIST JARS;( Hive / Beeswax 内から etc. を実行できませんでした。構文エラーが発生します。)

Cloudera Manager を使用してインストールした Cloudera Hadoop クラスターを実行しています。

ストレート ハイブ CLI を使用してデプロイし、正常に実行した UDF があります。これには、「hive --auxpath xxx」を使用していくつかのライブラリ jar をハイブに追加し、一時関数を作成することが含まれます。

しかし、Hue + Beeswax を使用して同じことを実行しようとすると、左側の便利なフォーム フィールドを使用してリソースと一時関数を追加すると、次のエラーが発生し続けます。

何度も検索しましたが、「-101」のエラー コードが翻訳されている場所が見つかりません。

現在見ているログはあまり役に立ちません。確認すべき詳細情報が記載された別のログはありますか?

「エラー コード -101」を翻訳していただくか、正しい方向に向けていただければ幸いです。

ありがとう！

私は使用しています：

Cloudera Manager は別のマシンで実行されており、クラスターの一部ではありません。

cloudera manager を使用してクラスターをセットアップした後、hue + beeswax を介して hive を使用し始めました。

しばらくの間、すべてが正常に実行されていましたが、突然、多数のパーティション (約 14000) を持つ特定のテーブルに対してクエリを実行すると、クエリがタイムアウトし始めました。

これに気づいたとき、ログを調べたところ、Hive メタストアへの接続がタイムアウトしていることがわかった。

これを見て、Hive メタストアに問題があると思いました。そこで、Hive メタストアのログを調べたところ、java.lang.OutOfMemoryErrors が見つかりました。

この時点で、Hive メタストアがシャットダウンされ、再起動されます。

これを修正するために、Hive メタストア サーバーと Beeswax サーバーの両方の最大ヒープ サイズを変更しました。

上記の 2 つの手順のいずれも、Hive メタストア ログに引き続き OOME が表示されるため、役に立たないようです。

次に、実際のメタストア「データベース」が Cloudera Manager の一部として実行されていることに気付きました。その PostgreSQL プロセスがメモリ不足になっているのではないかと考えています。そのプロセスの Java ヒープ サイズを増やす方法を探しましたが、それに関するドキュメントはほとんど見つかりませんでした。

あなたの一人がこの問題を解決するのを手伝ってくれるかどうか疑問に思っていました.

組み込みデータベースの Java ヒープ サイズを増やす必要がありますか? もしそうなら、どこでこれをしますか？

私が見逃しているものは他にありますか？

ありがとう！

HUE Web UICDH 4.2.1 をインストールしましたが、初めてアクセスしようとしています。新しいユーザー名とパスワードを入力して をクリックSign Upし、待って待っても 20 分間何も起こりません。別のウィンドウを開いてログイン ページにアクセスしようとすると、データベースがロックされているというメッセージが表示されます。

私は単一のノードで実行しています。以下は、2 番目のウィンドウのエラー メッセージです。

何か案が？

ありがとうございました、

ロベルト。

Cloudera Hue インターフェイスでハイブ クエリを実行しようとしていますが、数百のレコードに対しては正常に動作します。より大きなデータセットで実行すると、失敗します。インターネットで検索してみましたが、同様のエラーがたくさんあるようですが、探している正確な解決策ではありません。ハイブクエリでredexp_replaceを使用していますが、これが例外を引き起こしているとは思いません（私の印象では、文字列とNULL型を簡単に処理できるということです）

私が得るエラーは java.util.regex.PatternSyntaxException: Unmatched Closing ')' near index 12 です

更新: これは問題の原因となっているレコードです:

columnA:ReadData (または ListDirectory)

columnB:ListDirectory)

columnC: NULL

columnD: NULL

私のクエリ: regexp_replace(columnA , columnB , "") as columnA, column B regexp_replace(columnC , columnD , "") as columnC,

どこが間違っているのか教えてください。

ログの興味深い部分は次のとおりです... * ....[記録]...