問題タブ [aws-glue-spark]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
1 に答える
96 参照

python - 複数の列を1つの構造体列に連結/結合/変換

5000 列までの非常に大きなレガシー ファイルと非常に大量のレコードがあります。多くの列には、a_1,a_2,...,a_200などの名前が付けられています。

列の数を構造体に連結したいので(後でデータ操作を改善するため)、代わりに:

struct が欲しいa { 1: true, 2: false, ... 200: true }です。

Python、おそらくパンダを使用して変換する方法は? 列には、a_、b_... などのように、常に同じプレフィックスが付きます。

ご挨拶

0 投票する
1 に答える
88 参照

amazon-web-services - AWS Glue の最大値と行の変換

ソースバケット S1 から AWS グルーを使用して作成されたテーブルの 1 つにデータをロードしようとしています。

( session_id, Date, type, action )以下の値を持つ 4 つの列を持つソース バケット。購入トランザクションは 1 分間続き、同じレコードが 2 つ取得されます。場合によっては、終了レコードを取得できません

これらのレコードを挿入したいターゲットテーブルがあります。以下の構造になっています。

私は AWS を初めて使用します。AWS グルーを試していますが、ターゲット テーブル/結果を S3 に保存したいと考えています。

誰かがこれを達成する方法について詳しく教えてください。

始められて本当に良かったです