問題タブ [hive]

Hadoop の Hive に対する多次元式 (MDX) のサポートはありますか?

mrjobもbotoも、Amazon Elastic MapReduce（EMR）でHiveジョブを送信して実行するためのPythonインターフェースをサポートしていないことに気づきました。EMRでのHiveの実行をサポートする他のPythonクライアントライブラリはありますか？

私は自分のアプリケーションにhive+hadoopマップリデュースプログラムを実装したいのですが、ハイブでマップリデュースプログラムに関するクエリと情報を何度も試したので、まだ疑問に思っています。

私の質問は、ハイブには独自のマップリデュースプログラムがありますか？少し複雑なクエリを試してみると、ログは次のようになります。

そのクエリにはマップリデュースプロセスがあり、ハイブに実装されているマップリデュースプログラムの一部をグーグルで検索しようとすると、マップリデュースプログラムを作成するための代替手段もあります。

私の意見では、ハイブを使用してデータマイニング（大規模なクエリ）を処理できます（正しいか間違っているかわかりませんか？訂正してください）特定のタスクのためにハイブに実装するマップリデュースプログラムを作成できます（それは本当ですか？）

これについて何か説明はありますか？

すべての説明と注意に感謝し、私の悪い英語をお詫びします..ありがとう..：D

ハイブでのクエリに基づいてカスタムマップ削減プログラムを作成したいので、数日間行き詰まりました。グーグルで検索した後、多くの例が見つかりませんでした。ルールについてまだ混乱しています。

カスタム mapreduce プログラムを作成するための規則は何ですか? mapper と reducer クラスはどうですか?

誰でも解決策を提供できますか?

このプログラムを Java で開発したいのですが、まだ行き詰まっています。コレクターで出力をフォーマットするときに、マッパーとリデューサー クラスで結果をフォーマットするにはどうすればよいですか?

この種のものについて、誰かが私にいくつかの例と説明を与えたいですか?

Hadoopにはファイルの更新がないことは知っていますが、Hiveでは、構文シュガーを使用して、新しい値をテーブル内の古いデータとマージしてから、マージされた出力でテーブルを書き換えることができますが、別の値に新しい値がある場合テーブルの場合、左外部結合を使用して同じ効果を得ることができます。

私の場合の問題は、あるwhere条件のある列に1つの値を設定してテーブルを更新する必要があることです。SETサポートされていないことがわかっています。

たとえば、以下の通常のクエリについて考えてみます。

Hiveで同じものを変換しようとしましたが、の代わりにスタックしましたSET。誰かが私に知らせてくれたら、それは私にとって大きな助けになるでしょう。

Hadoopクラスターにハイブパッケージを追加しました。ハイブCLIに入ると、リモートモードでハイブを実行できます。しかし、ハイブサーバーを通過するクエリはローカルモードで実行されますが、これは非常に低速です...ハイブに対して行った唯一の変更は、次のリンクに従ってderbyネットワークサーバーを設定することです：http ：//wiki.apache.org/hadoop/HiveDerbyServerMode iまた、HADOOP_CONF_DIR、HADOOP_HOME、HIVE_CONF_DIR、HIVE_HOMEを私の環境にエクスポートしました...

誰かがこれを修正する方法を知っていますか？

したがって、タブ区切りデータの外部テーブルがあります。単純なテーブルは次のようになります。

ここで、最後に別のフィールドを追加します。これは、コンマで区切られた値のリストになります。

フィールドターミネータを指定するのと同じ方法でこれを指定する方法はありますか、それともセルデスの1つに依存する必要がありますか？

例えば：

（これにはSerdeを使用する必要があると思いますが、質問しても害はないと思いました）

Hive apache wiki の手順に従って Hive をインストールした後、Hive シェルを呼び出して「CREATE TABLE pokes (foo INT, bar STRING);」と入力すると、次のエラーが発生し、ログも含まれています。

私は Hive を初めて使用します。何か提案やコメントはありますか? どうもありがとう！ウェブ上のグーグルで尋ねられた質問を見つけましたが、解決策が見つかりませんでした。

Mac 上の Hadoop にシングル マシン モードを使用しています。

hive> CREATE TABLE pokes (foo INT, bar STRING); 失敗: メタデータのエラー: javax.jdo.JDOFatalInternalException: 予期しない例外がキャッチされました。NestedThrowables: java.lang.reflect.InvocationTargetException FAILED: 実行エラー、org.apache.hadoop.hive.ql.exec.DDLTask からの戻りコード 1

ログファイル:

Hiveテーブルを作成したいCSVのzipファイルがたくさんあります。どうするのが一番いいのかを模索中です。

• ファイルを解凍し、HDFS にアップロードします。
• ファイルを HDFS にコピーし、解凍する方法はありますか
• または、他のより良い/推奨される方法はありますか?

Hiveでサブ選択を行うにはどうすればよいですか？私にはそれほど明白ではない本当に明白な間違いを犯しているかもしれないと思います...

私が受け取っているエラー：FAILED: Parse Error: line 4:8 cannot recognize input 'SELECT' in expression specification

これが私の3つのソーステーブルです。

...そして私がやりたいのは、次のような結果テーブルに結果を挿入することです。

...ここで、列1はURL、列3はURLごとの上位1つの「イベント」、列5はそのURLにアクセスするための上位1つのREMOTE_ADDRESSです。（列も前の列の「カウント」です。）

Soooooo ...私はここで何を間違えましたか？

どうもありがとう ：）