問題タブ [azure-data-lake-gen2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
pyspark - REST API get メソッドの応答を json ドキュメントとして保存する
以下のコードを使用して、Rest API から読み取り、応答を pyspark の json ドキュメントに書き込み、そのファイルを Azure Data Lake Gen2 に保存しています。応答に空白のデータがない場合、コードは正常に機能しますが、すべてのデータを取得しようとすると、次のエラーが発生します。
エラー メッセージ: ValueError: 一部の型は、推論後に特定できません。
コード:
応答:
以下のようにスキーマを修正しようとしています。
データフレームを作成してjsonドキュメントにデータを書き込む方法がわかりません。