問題タブ [metastore]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

113 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
267 参照

mysql - SSLパラメータが必要なため、MySql 5.7をハイブメタストアとして使用するにはどうすればよいですか?

MySQL 5.7 を Hive メタストアとして使用しています。いつものように、私の接続文字列は次のとおりです

しかし、次のエラーが発生しています。

org.apache.thrift.transport.TTransportException: アドレス 0.0.0.0/0.0.0.0:9083 で ServerSocket を作成できませんでした。

. mysql接続文字列でSSLパラメータを渡す方法を教えてもらえますか?? または私がそれを解決できる他の方法はありますか？

0 投票する
1 に答える
344 参照

database - PySpark: エラー SparkContext: SparkContext の初期化中にエラーが発生しました。java.nio.file.AccessDeniedException:

( Spark の初心者) POC を実行するために Linux マシンにスタンドアロンで Spark をインストールしました。すべてが正常に見え、コードは正常に機能していましたが、以下の断続的なエラーが発生し始めました。

コードの移動、コードの名前の変更、コードの単純化にうんざりしましたが、どれもうまくいきませんでした。しばらくすると、エラーは自然に止まりました。いいえ、どこにも行きません。

私のsparkバージョンはspark-2.2.0です。そのエラーが発生すると、pysparkと入力したときに、非常に長いエラートレースで開始できなかったという奇妙なこと(最後の部分の下):

助けていただければ幸いです

0 投票する
1 に答える
2419 参照

mysql - HDFS ではなく S3 ストレージに構成した後、Hive 1.2 メタストア サービスが開始されない

スタンドアロン モードで Apache Spark Cluster(2.2.0) を使用しています。これまで、寄木細工のファイルを保存するために HDFS を使用して実行していました。Apache Hive 1.2 の Hive Metastore Service を使用してアクセスし、Thriftserver、Spark over JDBC を使用しています。

HDFS の代わりに S3 Object Storage を使用したいと考えています。次の構成を hive-site.xml に追加しました。

MySQL 5.7 データベースにハイブ メタストアがあります。Hive lib フォルダーに次の jar ファイルを追加しました。

  • aws-java-sdk-1.7.4.jar
  • hadoop-aws-2.7.3.jar

MySQL の古い Hive メタストア スキーマを削除してから、次のコマンドでメタストア サービスを開始するとhive --service metastore &、次のエラーが発生します。

欠落しているクラスは Jackson ライブラリに属しており、spark-2.2.0-bin-hadoop2.7/jars/ フォルダーにある Jackson-*.jar をコピーしました。

  • jackson-annotations-2.6.5.jar
  • jackson-core-2.6.5.jar
  • jackson-core-asl-1.9.13.jar
  • jackson-databind-2.6.5.jar
  • ジャクソン-jaxrs-1.9.13.jar
  • ジャクソン-マッパー-asl-1.9.13.jar
  • jackson-module-paranamer-2.6.5.jar
  • jackson-module-scala_2.11-2.6.5.jar
  • jackson-xc-1.9.13.jar

しかし、その後、次のエラーが発生しました。

ここでのエラーは、jar バージョンの非互換性と関係があると思いますが、正しいバージョンを見つけることができません。

誰かがここで私を助けることができますか?


12345678910