ORC 形式のファイルを含む ACID ハイブ テーブルがあります。圧縮を試みると、最終的に次のエラーが発生Task: ... exited : java.io.IOException: Two readers for ...します。完全なエラーは次のとおりです。

mergeこのテーブルはavro ファイルを orc テーブルに 'ing することによって作成および更新されるため、delete_deltaとdelta.

私はこの問題を抱えていない他の多くのテーブルを持っています。このテーブルには異常はなく、実際には非常に小さく (<100k 行、ディスク上で 2.5M)、先月 100 回更新されました (20k 行が更新され、5M 更新データ)。DDL は次のとおりです。

これは数か月ごとに発生します。他のすべて (選択、マージ) が機能するため、修正は通常、2 番目のテーブル ( create table t as select * from contact_group) を作成してテーブルを切り替えることですが、本当の根本的な理由を見つけたいと思います。

エラーについて見つけた唯一の参照はコード自体にありますが、これはあまり役に立ちません。

これは、Hive 3 を使用した hdp3.1 にあります。

最も単純な例（以下）でも例外を取得しようとしていhive warehouse connectorますspark。hdp 3.1問題を引き起こしているクラス: JaninoRuntimeException- はorg.codehaus.janino:janino:jar:3.0.8(spark_sql の依存関係) および にありcom.hortonworks.hive:hive-warehouse-connector_2.11:jarます。

janino ライブラリを spark_sql から除外しようとしましたが、これにより janino から他のクラスが失われました。そして、新しい機能のために hwc が必要です。

誰でも同じエラーが発生しましたか？それに対処する方法はありますか？

エラーが発生します：

私のsbtファイル：

そしてソースコード：

R インスタンスを、1 台のローカル マシン上の Docker にデプロイされた HDP-Sandbox で実行されている Spark に接続したいと考えています。エラー メッセージは、--versioncall onspark-submitが失敗したことを示しています。

R インスタンス

エラーsystem2(file.path(spark_home, "bin", "spark-submit"), "--version", : コマンドの実行中にエラーが発生しました

HDP

アップデート

より簡単な解決策と思われるので、Livy を使用することにしました。8999ファイルで参照されているポートを開いたので、livy.confで Livy UI にアクセスできるようになりましたhttp://localhost:8999/ui。

それにもかかわらず、接続しようとするとエラーが発生し続けます。