問題タブ [apache-hive]

ハイブのようなものを探しています

明らかに、ハイブは where 句でのサブクエリをサポートしていません。また、結合または半結合を使用しても、= のみを比較し、> は比較しません (私の知る限り)。

ハイブで同じクエリを書くための代替ソリューションを提案してもらえますか?

実行しようとしていますHive metastore。

しかし、それは以下のエラーを投げています。

org.apache.thrift.transport.TTransportException: org.apache.hadoop.hive.thrift.HadoopThriftAuthBridge20S$Server.(HadoopThriftAuthBridge20S.java:337) でキータブが指定されていません**。 createServer(HadoopThriftAuthBridge20S.java:104) org.apache.hadoop.hive.thrift.HadoopThriftAuthBridge20S.createServer(HadoopThriftAuthBridge20S.java:74) org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:5771) org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:5701) で sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド) で sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) で.reflect.DelegatingMethodAccessorImpl.スレッド "main" で例外が発生しましたorg.apache.thrift.transport.TTransportException: org.apache.hadoop.hive.thrift.HadoopThriftAuthBridge20S$Server.(HadoopThriftAuthBridge20S.java:337) でキータブが指定されていません。 HadoopThriftAuthBridge20S.java:104) org.apache.hadoop.hive.thrift.HadoopThriftAuthBridge20S.createServer(HadoopThriftAuthBridge20S.java:74) org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:5771) org .apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:5701) (sun.reflect)。NativeMethodAccessorImpl.invoke0(Native Method) の sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) の sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) の java.lang.reflect.Method.invoke(Method. java:606) org.apache.hadoop.util.RunJar.main(RunJar.java:212) で

シンプルな 2 ノードの cloudera CDH5 クラスターがあり、スレーブ マシンで Hive と Hue をセットアップしました。

CLI Viz を使用してハイブで作業できます。データベースとテーブルを作成しているときに、hue で Hive/beeswax を構成できません。Hive Server2 が停止していることが原因である可能性があります。この問題を解決するために私を助けてください。

詳細は次のとおりです。

/etc/hosts
192.168.1.190 マスター
192.168.1.191 スレーブ

/etc/hive/conf/hive-site.xml

エラー ログ:
/var/log/hive/hive-server2.log

connect(PlainSocketImpl.java:200) で java.net.SocksSocketImpl.connect(SocksSocketImpl.java:366) で java.net.Socket.connect(Socket.java:529) で org.apache.thrift.transport.TSocket.open (TSocket.java:180) ... 26 その他) java:216) ... 24 more 2015-04-16 19:58:25,074 INFO [main]: session.SessionState (SessionState.java:start(381)) - この時点では Tez セッションは必要ありません。hive.execution.engine=mr. 2015-04-16 19:58:26,639 エラー [スレッド 6]: thrift.ThriftCLIService (ThriftBinaryCLIService.java:run(115)) - エラー: org.apache.thrift.transport.TTransportException: アドレス 0.0 で ServerSocket を作成できませんでした.0.0/0.0.0.0:10000。org.apache で。

どうもありがとうございます ：-）

開発者として、既存の MySQL テーブルからデータをインポートして、プロジェクト用の HBase テーブルを作成しましたsqoop job。問題は、データ アナリスト チームが MySQL 構文に精通しており、HIVEテーブルを簡単にクエリできることです。それらのために、HIVE で HBase テーブルを公開する必要があります。HIVE にデータを再入力してデータを複製したくありません。また、データを複製すると、将来的に一貫性の問題が発生する可能性があります。

データを複製せずに HIVE で HBase テーブルを公開できますか? はいの場合、どうすればよいですか？また、insert/update/deleteHBase テーブルのデータを更新すると、更新されたデータが問題なく HIVE に表示されますか?

場合によっては、データ分析チームがテーブルを作成し、HIVE にデータを入力します。それらを HBase に公開できますか? はいの場合、どのように？

私はこの非常に基本的なテストを行っています (hadoop 2.7 と pig 0.14 の両方をインストールした直後)

ファイルは hdfs に存在します -

ただし、次を実行すると、

次のエラーメッセージが表示されます -

さらに調査すると、もう少し多くのことが明らかになります.示されているように、hdfs 上のファイル (pig 内から ls コマンドを介して) と、hadoop fs コマンドを使用したシェル プロンプトからもファイルを確認できます。ただし、pig も Hive も hdfs 上のファイルを見ることができません。

また、線虫のポートをいじってみました (異なる値 8020、9000、50070 を試しました) が、動作は同じままです。線虫とデータノードのログも調べてみましたが、それ以上は見つかりませんでした...

深刻な助けが必要です!!!

いくつかの質問への回答

さらにテストすると、hive は hdfs を使用できるが、pig はまだ使用できないことが明らかになりました。ハイブに外部テーブルを作成し、サンプルファイル「ファミリー」を正常に指すことができました

alter コマンドを使用して、ハイブ テーブル内のすべてのパーティションを削除しました。

alter table emp drop partition (hiredate>'0');

パーティションを削除した後でも、パーティションのメタデータが表示されます。このパーティションのメタデータを削除するにはどうすればよいですか? 新しいパーティションに同じテーブルを使用できますか?

2 台のマシンで Hadoop クラスターをセットアップしました。リアルタイム プロジェクトにクラスターを実装しようとしています。データのアップロードに関する複数ノード クラスターの情報が必要です。データ ノードが 9 つあるとします。どのスレーブ ノードが必要かを考えてみましょう。データをアップロードします。データを 2 つのスレーブ ノードにアップロードすることを選択できますか? データを hdfs にアップロードする場合、データは別のスレーブ ノードに複製されますか? 現在、HDFS が使用する場所 /tmp がいっぱいの場合に /tmp 場所を使用する hdfs を観察しました。