2

Azure Data Factory V2 でパイプラインを作成しました。Rest API からデータをコピーし、このデータを JSON ファイルの形式で Azure Data Lake に保存します。次に、U-SQL を使用してその JSON ファイルを変換し、そのデータを .csv 形式で別のフォルダーにコピーします。私のパイプライン。次のパイプラインのイメージを参照してください。

ここに画像の説明を入力

Rest API はデータを JSON 形式に返します。

{
    "data": [
        {
            "id": "100024937598765",
            "name": "Sebastian Martinelli",
            "email": "sebastian.martinelli@abc.com",
            "administrator": false
        },
        {
            "id": "100024909012916",
            "name": "Diego Juarez",
            "email": "diego.juarez@abc.com",
            "administrator": false
        },
        {
            "id": "100025002270557",
            "name": "Jose Lopez",
            "email": "jose.lopez@abc.com",
            "administrator": false
        },
        {
            "id": "100024553664067",
            "name": "Valentin Montemarani",
            "email": "valentin.montemarani@abc.com",
            "administrator": false
        }
    ],
    "paging": {
        "cursors": {
            "before": "QVFIUmU1QnBOYThYTnJiQlNqVzItMFdoTVprSHh3cWZA4LXF2ZAE5nSjIxVWZAOWUc1ZAjdLZAjN2em1SazRYVno4TGE4aFBaOFdMaS1NMDdkeEduVkRsOTVhN3Jn",
            "after": "QVFIUjhWdm5EOTk3amJaWHVYR3p1OEZAZAQ0ZAoeTR5TDBwblE0Mmx3dC1zRXhPM2VLZAWdqR0RWQndUVnhpTGc3RkIzVkNIY21EcXFTQU93NHVxRFcxVW12dTNB"
        },
        "next": "https://graph.facebook.com/v2.12/1528385107457405/members?access_token=%2Cemail&limit=25&after=QVFIUjhWdm5EOTk3amJaWHVYR3p1OEZAZAQ0ZAoeTR5TDBwblE0Mmx3dC1zRXhPM2VLZAWdqR0RWQndUVnhpTGc3RkIzVkNIY21EcXFTQU93NHVxRFcxVW12dTNB"
    }
}

この API は完全なデータを返すのではなく、次のリンクを使用してデータを返します。次のリンクを押すと、次のレコード セットを取得できます。Data Factory V2でIterationを使用してこのタイプのデータをフェッチするにはどうすればよいですか? For each、Until、Ifなどの他のアクティビティを試しましたが、そのコピー アクティビティを繰り返して完全なデータをフェッチすることができませんでした。

ベースURLは次のようになります

https://graph.facebook.com/Community/groups?fields=privacy,name,purpose&limit=5&access_token=value

これで、次の URL は同じになり、その後に 1 つのパラメーターが追加されます。

https://graph.facebook.com/v2.12/1528385107457405/groups?access_token=value&pretty=1&fields=privacy,name,purpose&limit=5&after=QVF

これを行う方法はありますか？

4

1 に答える 1