問題タブ [hive]

1.) C# からレジストリのバイナリ Hive ファイルをロード、編集、および保存するにはどうすればよいですか?

このWin32 APIを見つけました。 http://msdn.microsoft.com/en-us/library/ee210770%28VS.85%29.aspx

この男は、バイナリ Hive ファイルの内容をテキストにダンプするコードを共有しました。 http://www.codeproject.com/KB/recipes/RegistryDumper.aspx

2.) Hive ファイルの操作に加えて、実行時に C# を使用して Hive ファイルをレジストリにロードする方法も検索します (regedit の多くのファイルに対する Load Hive コマンドと Unload Hive コマンドに似ています)。

/ありがとう

Ruby で SQL クエリを生成する簡単な方法が必要です。ActiveRecord、Sequel、DataMapper についてはすべて知っています。私は ORM を探しているのではなく、SQL ステートメント文字列を生成する簡単な方法を探しています。

RBHiveを使用して Hive クエリを実行していますが、Hive クエリ ステートメントを簡単に生成したいと考えています。

確かにこれは存在します (AR など)。私はArelを見てきました。しかし、一般的な ORM ライブラリから SQL ステートメント生成の部分を削除する方法がわかりません。すべてがデータベース サーバーへの接続を必要とします。

現在、私は生の SQL 文字列を使用していますが、クエリがますます複雑になり、エラーが発生しやすくなっているため、それを回避したいと考えています。

何か案は？

これを次のような「折りたたまれた」行に結合したいと思います。

現時点では、ソース ドキュメントはハイブの「テーブル」です [これは、基本的にフラット テキスト ファイルと同じだと思います] - これを達成するための最も効率的な方法は何でしょうか?

編集：関連する以前の質問（SQLの場合、残念ながらハイブではありません）複数の​​行を1つのスペースで区切られた文字列に結合します

カサンドラとハイブが初めてです。カサンドラをHadoop-Hiveと統合したいのですが、カサンドラをHiveと統合するにはどうすればよいですか。

そのため、多数のファイルを含む既存の hdfs ディレクトリがあります。これらのファイルはすべてタブ区切りです。

私はハイブステートメントを持っています....

これは、すべての余分なフィールドを除いて、非常にうまく機能します。このファイルには、ssn フィールドの後に 0 ～ x 個の追加データ要素も含まれています。それらはまだタブ区切りであり、'\n' レコード区切りです。「valuex 文字列」(x は余分な要素の増分) の束を追加することもできますが、最終的にいくつになるかはわかりません。とにかく面倒です。

「その他の文字列」のように、その行の残りのすべてのフィールドを1つのフィールドに入れるようにハイブに指示する方法はありますか? ハイブの戻り値でタブ区切りになっていても大丈夫です。

前もって感謝します。

「sqoopcreate-hive-table」を使用してHiveでテーブルスキーマを作成したいと思います。私のDBはOracleDatabase10g Enterprise Edition 10.2.0.4.0であり、sqoop-1.2.0-cdh3u0とhive-0.7.0-cdh3u0を使用しています。後でHiveテーブルにロードするデータはすでにHDFSにあります。手動で作成して後でデータをロードするよりも、sqoop＆hiveによってテーブルメタデータを自動的に作成する方がよいでしょう。

これが私が実行するコマンドです：

そして、私は次のエラーを受け取ります：

11/05/12 11:33:11 INFO hive.HiveImport：アップロードされたデータをHiveにロードしています

11/05/12 11:33:12 INFO manager.OracleManager：タイムゾーンがGMTに設定されました11/05/12

11:33:12 INFO manager.SqlManager：SQLステートメントの実行：SELECTt。*FROM BFUNC1.R1_EVOLUTION t WHERE 1 = 0

11/05/12 11:33:14 INFO hive.HiveImport：Hive履歴ファイル= / tmp / edjatsay / hive_job_log_edjatsay_201105121133_1466429457.txt

11/05/12 11:33:14 INFO hive.HiveImport：FAILED：Parse Error：line 1:58不一致入力'）'列指定に識別子が必要です

11/05/12 11:33:14 INFO hive.HiveImport：

11/05/12 11:33:14エラーtool.CreateHiveTableTool：テーブル作成ジョブの実行中にIOExceptionが発生しました：java.io.IOException：Hiveがステータス11で終了しました

DB内のテーブルのスキーマは次のとおりです。

よろしくお願いします。

を行うときINSERT OVERWRITE LOCAL DIRECTORYに、使用する区切り文字を指定することは可能ですか？

列、コレクション、マップ、配列の場合...区切り文字の全範囲が使用されます。

実装方法を示すドキュメントなどは、非常に素晴らしいものになります。:)

（同様の質問が存在することは確かですが、探している答えはまだ見つかりません。）

私はHadoopとHive（SQLに精通している開発者向け）を使用して、数テラバイトのデータを毎晩バッチ処理しています。数百の大規模なCSVファイルの入力から、4つまたは5つのかなり大きなCSVファイルを出力しています。明らかに、HiveはこれらをHDFSに保存します。もともと、これらの入力ファイルは巨大なSQLデータウェアハウスから抽出されました。

Hadoopは、その機能にとって非常に価値があります。しかし、出力を処理するための業界標準は何ですか？現在、シェルスクリプトを使用して、これらをローカルフォルダーにコピーし直し、別のデータウェアハウスにアップロードしています。

この質問:( HadoopとMySQLの統合）は、Hadoopエクスポートを非標準で再インポートする方法を呼び出します。BIツールを使用してデータを探索したり、結果をASP.NETアプリに統合したりするにはどうすればよいですか？倹約？Protobuf？Hive ODBC APIドライバー？もっと良い方法があるに違いない.....

私を啓発します。

Whirr を使用して新しい Hadoop インスタンスを起動する EC2 インスタンスをセットアップしています。私は、Hive をこのセットアップで動作させようとしています。Hive は、ローカル メタストアとして mysql を使用するように構成する必要があります。私が抱えている問題は、ハイブ インターフェイスを介して ( CREATE TABLE testers (foo INT, bark STRING); ) のようなクエリを実行しようとするたびに、そこにハングアップし、何もしていないように見えることです。

どんな助けでも大歓迎です。

誰もそれを達成する方法を知っていますか?

RJDBC が役立つと思います。しかし、私の (おそらくナイーブな) 理解から、このために Hive ドライバーを作成または適応させるには、少し調整が必要です。

関連ドキュメント:

• http://wiki.apache.org/hadoop/Hive/HiveClient
• http://cran.r-project.org/web/packages/RJDBC/RJDBC.pdf

どんな助けや提案も大歓迎です! これまでに誰もこれを行っていない場合は、解決策に向けて少しコードを書いて喜んでいますが、Java はほとんど知りません。