問題タブ [impala]

ORACLE SQL から Impala SQL に変換しようとしている WHERE 句があります。col2 の出力は 201406 のようになります。これを Impala で読み取れるようにしてから、フォーマットしてから文字列に変換する必要があります。どんな助けでも大歓迎です！

1 つの列ファミリーに json データが格納されており、これにはいくつかの名前と値のペアがあります。さまざまな名前と値の組み合わせでこのデータをクエリしますが、これらのクエリは名前と値のペアに特に傾くことはありません (これにより、それらを列ファミリーに分割することが難しくなります)。

1. これらのクエリのパフォーマンスを向上させる最善の方法は何でしょうか? セカンダリ インデックス、インパラ、フェニックスなどは役に立ちますか?
2. それらを複数の列ファミリーに分割すると役立つでしょうか? hbase が 2 つまたは 3 つの列ファミリーに最適に機能することを考慮すると、これが正しいことかどうかはわかりません。
3. ネストされたデータまたは json データを格納して優れたクエリ パフォーマンスを達成するための優れたシステムは何でしょうか? Apacheドリルのようなものは役に立ちますか?

私は Impala を使用していますが、Impala がメモリ内で処理を行うことを知っています。Impala 構成オプションのリストを検索しましたが、特にメモリ/ヒープに関して、これに関する完全なドキュメントは見つかりませんでした。Impalaにはそのような設定がありますか? それとも、hdfs/datanode ヒープ領域に依存していますか? でimpalaのメモリ使用量を制限できることは知っていますが-mem_limit、これがどのように行われるかをよりよく理解しようとしています。

にインストールCloudera CDH4しUbuntu 12.04 LTSています。インストール手順で、ハイブ メタストアの開始でスタックしています。ダウンロード ドキュメントで推奨されているように を設定しmeta-storeました。MySQL

次のエラーが表示されます。

ログ ファイルには、次のエラーが表示されます。

以下はアウトhive-site.xmlファイルです：

私たちの主な焦点は、インストールすることimpalaです。デフォルトのダービーを使用する場合。Hive メタストアは完全に機能しています。しかし、私たちが始めるときimpala-shell。Not Connected と表示されます。これを修正するにはどうすればよいですか?

誰でもこのエラーを解決できますか?

Tomcat 7 (7.0.54) でデプロイされた既存のアプリケーションに Impala/Hive2 JDBC ドライバーを追加しようとしています。他の JDBC ドライバーは正常に動作します (Oracle、MS SS、SyBase)。

ただし、ドライバーは接続せず、Eclipse (Kepler) の Java (JDK 1.7.0_55) によってトラップされない例外を常にスローしました。これは、Windows 8.1 Lenovo T500 ラップトップで実行されています。意味のあるエラー メッセージもスタック トレースもありませんでした。

エラーが発生した場所を見つけるために、Hive のソース コードを入手し、単純な Java プログラムを作成して、DEBUG でステップ スルーする JDBC 接続をテストしました。Clouder のドキュメントで指定されているよりも jar に含まれていなかった欠落クラスへの参照エラーがありました。HiveConnection.java (org.apache.hive.jdbc) に次のエラーがあります。

これらのクラスが存在する場所を追跡し、作成した UserLibrary に次の jar を追加しました。

を追加した後httpclient、まだ参照エラーがあります

私はこれを追跡しました： httpcore-4.2.4.jar

スタンドアロン Java プログラムが Impala デーモンに正常に接続されました。これらの jar を、JDBC パッケージと共に Java ソース コードとして Tomcat の /WEB-INF/ib/ フォルダーに追加しました。Tomcat には、IndexOutOfBounds 例外が発生して公開できないなどの問題がありました。これは主にhadoop-common瓶が原因であることがわかりました。Tomcat の定義とプロジェクトを完全にクリーンアップし、この jar を最後の jar として追加することで、公開することができました。まだいくつかの試みをしました。

その後、アプリケーションの実行も DriverManager.getConnection(connstr) で例外が発生して停止しました。エラーは常に、/WEB-INF/lib/ フォルダーにロードされた jar ファイルにあるさまざまなクラスが表示されないことに関連していました。それらを削除してから再インポートすると、次の順序でこれらのエラーが発生しました。

の最後の奇妙なエラーHIVE_CLI_SERVICE_PROTOCOL_V6。HIVE_CLI_SERVICE_PROTOCOL_Vx後者は、supportedProtocols のコレクションに追加されているHiveConnection.java の Java コードで確認するまで、追跡するのが困難でした。これは Impala からの応答を確認するために使用され、Impala がリストにない応答を使用する場合、接続はキャンセルされます。私が持っているバージョンでは、V1-V3 が使用されています。SVN の最新のソースは V7 までですが、これらは CDH5 に同梱されている JDBC コードでは使用されていません。

すべてを削除してからライブラリ jar を追加し、次に JDBC のソース コードを追加するという別のサイクルを実行します (JDBC jar は追加しませんでした)。

やっとのことで、HiveConnection の DEBUG を実行し、正常に通信して、Impala からの応答を確認することができました。____V1 プロトコルを使用していると応答したので、受け入れられました。

ドキュメントには一部の jar のみが必要であると記載されていますが、インポート ステートメントを満たすためだけにさらにいくつかの jar が必要であることがわかりました。分散 JDBC ドライバーとそのサポート jar だけを使用できるように、Tomcat を構成するにはどうすればよいでしょうか? Catalina.jar でクラスローダーを使用してキラー例外が発生していることに気付いたので、Tomcat がクラスをロードする方法に問題があるのではないかと思います (このためのソース コードがないため、正確な場所や理由はわかりません)。

関数スルーinsert intoを使用して impala テーブルでクエリを実行しようとしていますが、エラーが発生しています。私が実行しているクエリは次のとおりです。rimpala.query()R

ここdata_frame1で は行の束を持つデータ フレームで、 は のnrow行数ですdata_frame1。最初のinsert intoステートメントが実行され、最初のデータがデータベースに挿入されますが、それを実行した直後にエラーがスローされます

Error in rimpala.query(sql) : SQL error Error: The query did not generate a result set!

このエラーを削除するにはどうすればよいですか?