問題タブ [qubole]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - ハイブ1.2を使用してs3の寄木細工のファイルから外部テーブルを作成する方法は?
s3 から parquet(compressed: snappy) ファイルを読み取る Qubole(Hive) に外部テーブルを作成しましたが、実行するSELECT * table_name と、パーティション化された列を除くすべての列で null 値が取得されます。
SERDEPROPERTIES で別の serialization.format 値を使用してみましたが、まだ同じ問題に直面しています。そして、'serialization.format' = '1'私が得ているプロパティを削除するとERROR: Failed with exception java.io.IOException:Can not read value at 0 in block -1 in file s3://path_to_parquet/.
寄木細工のファイルを確認したところ、寄木細工のツールを使用してデータを読み取ることができました。
scala - クラス内にケースクラスを実装する
以下のコードを使用して Qubole Notebook で実行していますが、コードは正常に実行されています。
ただし、Qubole の Analyze で同じコードを実行すると、以下のエラーが発生します。
以下のコードを取り出すと、Qubole の Anlayze で問題なく動作します。
どこかでcaseクラスの使用法を変更する必要があると思います。
Spark 2.3 を使用しています。
誰かがこの問題を解決する方法を教えてください。
他に詳細が必要な場合はお知らせください。