ETL パイプラインの一部として、データを JSON から parquet に変換する必要があります。私は現在、 pyarrow.Tablefrom_pandasのメソッドでそれをやっています。ただし、最初にデータフレームを構築することは不必要なステップのように感じます。さらに、パンダを依存関係にすることは避けたいと思います。
最初にデータフレームにロードする必要なく寄木細工のファイルを書き込む方法はありますか?
質問する
3403 次
ETL パイプラインの一部として、データを JSON から parquet に変換する必要があります。私は現在、 pyarrow.Tablefrom_pandasのメソッドでそれをやっています。ただし、最初にデータフレームを構築することは不必要なステップのように感じます。さらに、パンダを依存関係にすることは避けたいと思います。
最初にデータフレームにロードする必要なく寄木細工のファイルを書き込む方法はありますか?