私は、shark-0.9.1 (hive-0.11.0) でハイブ メタストアを使用しようとしています。今のところ、単一のノードで実行できることを嬉しく思います。奴隷制は関係ありません。ハイブを実行すると、テーブルを作成し、次のような SQL ステートメントを実行できます。
hive> SELECT MAX(rating) FROM data;
スパークを使用する場合、機能するのはほとんど唯一のものです
shark> show tables;
これは、以前にハイブで作成されたテーブルを示しています。
上記の SELECT のような他のステートメントでは、エラーが発生します。
Exception in thread "main" java.lang.VerifyError: class org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$CompleteRequestProto overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet;
(さらに「at java.lang....」)。
また、サメを初期化するときに、次のメッセージが表示されることにも注意しました。
1.998: [GC (Metadata GC Threshold) 996276K->19001K(10049024K), 0.0283650 secs]
2.026: [Full GC (Metadata GC Threshold) 19001K->18119K(10049024K), 0.0519489 secs]
Reloading cached RDDs from previous Shark sessions... (use -skipRddReload flag to skip reloading)
3.225: [GC (System.gc()) 653092K->31516K(10049024K), 0.0184714 secs]
3.244: [Full GC (System.gc()) 31516K->18363K(10049024K), 0.0909512 secs]
3.340: [GC (System.gc()) 187300K->18498K(10049024K), 0.0040080 secs]
3.344: [Full GC (System.gc()) 18498K->15265K(10049024K), 0.0836514 secs]
これらの問題の理由は何ですか？私はこれに慣れていないので、見逃した非常に基本的なことを追加する必要があります。