問題タブ [azure-data-factory-2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
json - Data Factory v2 - 行ごとに json ファイルを生成する
Data Factory v2 を使用しています。Azure SQL データセットを入力として、Azure Storage Blob を出力として持つコピー アクティビティがあります。SQL データセットの各行を個別の BLOB として書き込みたいのですが、これを行う方法がわかりません。
コピー アクティビティに copyBehavior が表示されますが、それはファイル ベースのソースからのみ機能します。
別の可能な設定は、私のデータセットの filePattern です。
各 JSON ファイルに格納されるデータのパターンを示します。許可される値は、setOfObjects および arrayOfObjects です。
setOfObjects - 各ファイルには、単一のオブジェクト、または行区切り/連結された複数のオブジェクトが含まれます。出力データセットでこのオプションを選択すると、コピー アクティビティによって、各オブジェクトが 1 行 (行区切り) の 1 つの JSON ファイルが生成されます。
arrayOfObjects - 各ファイルにはオブジェクトの配列が含まれています。
説明は「各ファイル」について語っているので、最初は可能だと思っていましたが、今テストしたところ、setOfObjects は各行が新しい行に書き込まれる行区切りファイルを作成するようです。setOfObjects 設定は、json 配列を含むファイルを作成し、各行を配列の新しい要素として追加します。
構成がどこかに欠けているのではないかと思っていますか、それとも単に不可能なのでしょうか?
azure-data-factory - Azure Data Factory を使用してページング データをフェッチする
Azure Data Factory V2 でパイプラインを作成しました。Rest API からデータをコピーし、このデータを JSON ファイルの形式で Azure Data Lake に保存します。次に、U-SQL を使用してその JSON ファイルを変換し、そのデータを .csv 形式で別のフォルダーにコピーします。私のパイプライン。次のパイプラインのイメージを参照してください。
Rest API はデータを JSON 形式に返します。
この API は完全なデータを返すのではなく、次のリンクを使用してデータを返します。次のリンクを押すと、次のレコード セットを取得できます。Data Factory V2でIterationを使用してこのタイプのデータをフェッチするにはどうすればよいですか? For each、Until、Ifなどの他のアクティビティを試しましたが、そのコピー アクティビティを繰り返して完全なデータをフェッチすることができませんでした。
ベースURLは次のようになります
https://graph.facebook.com/Community/groups?fields=privacy,name,purpose&limit=5&access_token=value
これで、次の URL は同じになり、その後に 1 つのパラメーターが追加されます。
これを行う方法はありますか？