java - 例外「java.lang.NoSuchFieldError: METASTORE_CLIENT_SOCKET_LIFETIME」または「必須フィールド 'client_protocol' が設定されていません!」のいずれかを取得する

Question

Spark 2.1 の構造化ストリーミングを使用しています (内部的に Hive 1.2.1 jar を使用しています)。JDBCコネクタを介してストリーミングデータをHiveに書き込むために、Hive用のForEachWriterを開発しようとしています。

私のクラスターには、Hive 1.1.0 があります。

バージョン 1.2.1 の Hive jdbc jar を使用すると、Hive のクライアントとサーバーのバージョンが一致しないため、以下の例外が発生します。

Required field 'client_protocol' is unset!

バージョン 1.1.0 の Hive jdbc jar を使用すると、以下のように Spark で例外が発生します。

Caused by: java.lang.NoSuchFieldError: METASTORE_CLIENT_SOCKET_LIFETIME

HiveContext in の初期化中に発生しSparkSessionます。