問題タブ [beeline]

これはビーラインでの私のコマンドです !connect jdbc:hive2://localhost:10000

このエラーが発生しました

JDBC URI でクライアント トランスポートを開けませんでした: jdbc:hive2://localhost:10000: null (state=08S01,code=0)

それを解決する方法は？

私が取り組んでいるクラスターでは、すべてのユーザーに 60 GB の Hadoop クォータが与えられています。歴史的に、私が取り組んでいるプロジェクトでは、多くの Hive クエリが生成されます。作業を高速化するために、これらのクエリ (これらは無関係です) を並列化しようとしていますが、その結果、ディレクトリ /user/{myusername}/.staging/ が job_{someid} ディレクトリでいっぱいになり、それらが順番にいっぱいになりますハイブ jar を使用して、これらの 60GB を非常に高速に消費します。並列化係数を制限することはできますが、Hive にこれらの jar を別のディレクトリに配置するように依頼できるかどうかも確認したいと思います。より多くのスペースがある /tmp/{myusername} と言ってください。

/tmp/{myusername} の下に .staging ディレクトリを作成するように Hive/Beeline に指示するにはどうすればよいですか?

HPD-2.4.2 を使用しており、Oozie コーディネーター ジョブを使用して外部 Hive テーブルにパーティションを追加しようとしています。次のワークフローを毎日トリガーするコーディネーターを作成しました。

実行されたスクリプトには

ジョブを実行すると、テーブルは作成されますが、パーティションは追加されません。ヤーンログで私は見つけます：

ALTER TABLE のパラメーターが置き換えられていないように見えます。これを確認するために、CLI から beeline を直接呼び出してみました。

エラーが発生します。

パラメータなしでalterステートメントを実行すると

または、hivevars が定義されたビーライン コンソールを開き、alter ステートメントを実行します。

パーティションが作成されます。

どこが間違っていますか？

アップデート：

hive2 アクションのパラメーターの値は、oozie.properties ファイルと coordinator.xml で定義されています。

ヤーンログで見つけます

hive2 アクションからの beeline 呼び出しで hivevars として設定される前。

色相 (バージョン 3.10) に奇妙な問題があります。

私は非常に単純なハイブクエリを持っています:

• ハイブエディターでこのクエリを実行すると機能します
• このクエリを Oozie ワークフロー コマンド ラインとして実行すると機能します
• beeline でこのクエリ コマンド ラインを実行すると動作します
• ハイブから Oozie ワークフローを介してこのクエリを実行すると失敗します

その場合の失敗は、次のことを意味します。

• drop と create は実行されないか、少なくとも何の効果もありません
• ワークフローの準備アクションが実行されます
• ワークフローの hive2 ステップはまだ成功したと言う
• 次のステップが実行されます。

ここで、まったく同じ成功/失敗のケースで、さまざまなユーザー (oozie と ambari、関連する場所に適応) を試しました。

おそらくhueからのものを除いて、関連するログが見つかりません：

ビーラインが開始されていることがわかりますが、コマンドラインのようにマッパーが割り当てられていません。

何がうまくいかないのか、誰にも分かりますか？

ありがとう、ギヨーム

でクエリを実行しています60 GB dataset in Hive。クエリ270 mappersを起動すると15分以内に終了しますが、 になるとreducer state to complete 0.01%、最低45分から1時間かかります。そのため、仕事は永遠のように実行されています。修正する方法はありますか

ハイブでテーブルを作成しようとしていますが、次のエラーが発生しますFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Cannot validate serde:org.apache.hadoop.hive.serde2.OpenCSVSerde

同じことで私を助けてください。

プロパティの値を設定するために set コマンドが使用されることはわかっています。

しかし、上記のプロパティの現在の値をどのように読み取るか

以下のコマンドを試しましたが、機能しません

上記のプロパティの現在の値を読み取るための正しいハイブコマンドを取得するのを誰かが手伝ってくれませんか。

JDBC を使用して ThriftServer1 に接続しました (Cloudier クラスター、4.7 です)。Map Reduce ジョブの実行を必要としないクエリを実行しようとすると、プログラムが正常に実行されます。しかし、関連するクエリが map-reduce ジョブを必要とする場合、以下に貼り付けた例外で失敗します。

例えば：

注:両方のクエリは、Hive CLI から正常に実行されます。クエリ 2 は、プログラム内から実行した場合にのみ失敗します。

また、プログラムの実行中に、HIVE の下の conf ディレクトリをクラス パスに追加しようとしました。しかし、役に立たない。

スレッド「メイン」の例外 java.sql.SQLException: クエリがゼロ以外のコードを返しました: 1、原因: FAILED: 実行エラー、org.apache の org.apache.hadoop.hive.ql.exec.MapRedTask からコード 1 を返します。 hadoop.hive.jdbc.HivePreparedStatement.executeImmediate(HivePreparedStatement.java:177) org.apache.hadoop.hive.jdbc.HivePreparedStatement.executeQuery で

問題: ビーライン接続の一部のユーザーにレルムが必要なのはなぜですか? LDAP 認証で確保されている場合でも?

beeline で接続しているときに、構成された LDAP 認証を使用して、一部のユーザーはレルムなしで接続し、一部のユーザーはレルム認証で接続します。これは、Active Directory でユーザーを作成するときに、表示名がログオン名と異なるためです。認証中、ログオン名のみでのみ検証できますが、一部のユーザーは表示名でも検証します。実際にはログオン名でのみ検証しますが、ここでは表示名で検証するようです。

添付の画像を参照して、これを克服する場合はアイデアを提供してください。

ありがとう、マテス