問題タブ [beeswax]

cloudera cdh4 ディストリビューションのコンテキストで言及されている 2 つのサーバーに関して根本的な質問があります。

1. ハイブサーバーの代わりに蜜蝋を実行できるように、これら2つは交換可能/交換可能ですか?
2. リサイクル クライアントを使用して接続しようとしていますが、セットアップでは蜜蝋のみが実行されており、ハイブ サーバーは実行されていません。このような場合、蜜蝋サーバーに接続できますか?

Hadoop クラスターをセットアップし (Cloudera Manager を介して Cloudera ディストリビューションを使用)、Hue インターフェイスを使用していくつかの Hive クエリを実行しています。

すべてのクエリが正常に実行され、カスタム UDF のデプロイにも成功しました。

しかし、UDF を展開しているときに、非常に苛立たしいバージョン管理の問題に遭遇しました。UDF クラスの最初のバージョンでは、StackOverflowError.

このエラーを修正し、UDF をデプロイして、Hive コマンド ラインから正常に使用できることを確認しました。

その後、もう一度 Hue と Beeswax を使用したときに、同じエラーが発生し続けました。UDF Java クラス名を変更することによってのみ、これを修正できました。( からLowerまでLower2)。

さて、私の質問は、これらの種類のバージョンの問題に対処する適切な方法は何ですか?

私が理解していることから、左側の便利なフォーム フィールドを使用して jar を追加すると、分散キャッシュに追加されます。では、分散キャッシュを更新/クリアするにはどうすればよいですか? LIST JARS;( Hive / Beeswax 内から etc. を実行できませんでした。構文エラーが発生します。)

Cloudera Manager を使用してインストールした Cloudera Hadoop クラスターを実行しています。

ストレート ハイブ CLI を使用してデプロイし、正常に実行した UDF があります。これには、「hive --auxpath xxx」を使用していくつかのライブラリ jar をハイブに追加し、一時関数を作成することが含まれます。

しかし、Hue + Beeswax を使用して同じことを実行しようとすると、左側の便利なフォーム フィールドを使用してリソースと一時関数を追加すると、次のエラーが発生し続けます。

何度も検索しましたが、「-101」のエラー コードが翻訳されている場所が見つかりません。

現在見ているログはあまり役に立ちません。確認すべき詳細情報が記載された別のログはありますか?

「エラー コード -101」を翻訳していただくか、正しい方向に向けていただければ幸いです。

ありがとう！

私は使用しています：

Cloudera Manager は別のマシンで実行されており、クラスターの一部ではありません。

cloudera manager を使用してクラスターをセットアップした後、hue + beeswax を介して hive を使用し始めました。

しばらくの間、すべてが正常に実行されていましたが、突然、多数のパーティション (約 14000) を持つ特定のテーブルに対してクエリを実行すると、クエリがタイムアウトし始めました。

これに気づいたとき、ログを調べたところ、Hive メタストアへの接続がタイムアウトしていることがわかった。

これを見て、Hive メタストアに問題があると思いました。そこで、Hive メタストアのログを調べたところ、java.lang.OutOfMemoryErrors が見つかりました。

この時点で、Hive メタストアがシャットダウンされ、再起動されます。

これを修正するために、Hive メタストア サーバーと Beeswax サーバーの両方の最大ヒープ サイズを変更しました。

上記の 2 つの手順のいずれも、Hive メタストア ログに引き続き OOME が表示されるため、役に立たないようです。

次に、実際のメタストア「データベース」が Cloudera Manager の一部として実行されていることに気付きました。その PostgreSQL プロセスがメモリ不足になっているのではないかと考えています。そのプロセスの Java ヒープ サイズを増やす方法を探しましたが、それに関するドキュメントはほとんど見つかりませんでした。

あなたの一人がこの問題を解決するのを手伝ってくれるかどうか疑問に思っていました.

組み込みデータベースの Java ヒープ サイズを増やす必要がありますか? もしそうなら、どこでこれをしますか？

私が見逃しているものは他にありますか？

ありがとう！

別のテーブルの列を含むテーブルを作成しようとしましたが、Hive CLI は一貫して失敗します。

クエリは次のとおりです。

この Hive クエリに伴う CLI エラーは次のとおりです。

ジョブ トラッカーを確認すると、タスクとそのすべての試行 (ジョブが強制終了されるまで) に次のような同じエラーが表示されます。

上記と同じクエリが Hive Beeswax でも機能します。

私は、Hive Beeswax でこれらのタイプのクエリを作成することに一貫して成功しています。上記の同じクエリ (別のテーブル名を使用) が機能し、次のログが記録されます。

以下は、私の Hive CLI で動作するインスタンスです。

• 上記のクエリは、テーブルの代わりにビューが作成された場合にも機能します。
• 空のテーブルを作成できます
• HDFS ファイルからテーブルを作成できます (たとえば、最初のコード ブロックから見つかった tweets_sample テーブルは HDFS ファイルから作成されました)。

tweets_sample に対して Hive CLI を介して実行されるクエリを次に示します。

現在、私はこの問題を修正する方法に行き詰まっています。

その他の注意事項:

私が取り組んでいる環境は次のとおりです。

• Oracle VM VirtualBox 上の Hortonworks Sandbox v1.3
• Hortonworks チュートリアル #13 に取り組んでいました。
• Hive Beeswax クエリは、ユーザー「hue」から Hue UI を介して実行されます。
• Hive CLI クエリは、ユーザー 'root' から実行されます (また、ユーザー 'hue' からもテストされます)。

現在の Cloudera Quick Start VM を使用しています。いくつかのデータを含む Hive テーブルを作成しました。次に、Hive Storage Handler を使用して外部テーブルを作成しました。HBase テーブルにデータを入力できました。ただし、Hive/HBase テーブルのクエリ中に、次のエラー (NullpointerException) が発生しました。

Guava、zookeeper、hbase、および hive-hbase-handler JAR を埋め込みました。このチュートリアルの指示に従いました: http://www.n10k.com/blog/hbase-via-hive-pt2/

現在の Cloudera-Quick-Start VM を使用しています。Job と Task-Tracker のログ、および Beeswax のログからは何もわかりません。

私が間違っていることについて何か考えはありますか？

どんなアドバイスにも感謝します！

よろしく、レナ

Hue - Beeswax からハイブ クエリを実行しようとしています。シェルから同じクエリを実行すると、クエリを正常に実行できます。しかし、蜜蝋から次のエラーが表示されます。

ハイブテーブルに必要な5つのフィールドをセミコロンで区切った1つの(最初の)列/セルを持つ形式の.csvファイルがあります。そのようです：

Hive クエリを使用してデータを ; で分割できますか? 同じ順序の列名で作成したテーブルに保存しますか?

regexp_extract のような？または、serdeを使用する必要がありますか？

Hadoop/hive/beeswax は初めてで、Cloudera-quickstart vm 5.2 を使用しています。