1

こんにちは、コピー アクティビティに Azure Data Factory を使用しています。コピーをコンテナー全体で再帰的にしたいのですが、サブフォルダーは次のようになります: myfolder/Year/Month/Day/Hour}/New_Generated_File.csv

生成してフォルダーにインポートするファイルには、常に異なる名前が付けられています。

問題は、活動がいつまでも待っているように見えることです。

パイプラインは 1 時間ごとにスケジュールされます。

データセットとリンクされたサービスの json コードを添付しています。

データセット:

{
"name": "Txns_In_Blob",
"properties": {
    "structure": [
        {
            "name": "Column0",
            "type": "String"
        },
        [....Other Columns....]
    ],
    "published": false,
    "type": "AzureBlob",
    "linkedServiceName": "LinkedService_To_Blob",
    "typeProperties": {
        "folderPath": "uploadtransactional/yearno={Year}/monthno={Month}/dayno={Day}/hourno={Hour}/{Custom}.csv",
        "format": {
            "type": "TextFormat",
            "rowDelimiter": "\n",
            "columnDelimiter": "    "
        }
    },
    "availability": {
        "frequency": "Hour",
        "interval": 1
    },
    "external": true,
    "policy": {}
}

}

連携サービス：

{
"name": "LinkedService_To_Blob",
"properties": {
    "description": "",
    "hubName": "dataorchestrationsystem_hub",
    "type": "AzureStorage",
    "typeProperties": {
        "connectionString": "DefaultEndpointsProtocol=https;AccountName=wizestorage;AccountKey=**********"
    }
}

}

4

1 に答える 1

2

データセットのfolderPathプロパティでファイル名を指定することは必須ではありません。ファイル名を削除するだけで、すべてのファイルが datafactory によって読み込まれます。

{
  "name": "Txns_In_Blob",
  "properties": {
    "structure": [
        {
            "name": "Column0",
            "type": "String"
        },
        [....Other Columns....]
    ],
    "published": false,
    "type": "AzureBlob",
    "linkedServiceName": "LinkedService_To_Blob",
    "typeProperties": {
        "folderPath": "uploadtransactional/yearno={Year}/monthno={Month}/dayno={Day}/hourno={Hour}/",
        "partitionedBy": [
            { "name": "Year", "value": { "type": "DateTime", "date": "SliceStart", "format": "yyyy" } },
            { "name": "Month", "value": { "type": "DateTime", "date": "SliceStart", "format": "%M" } },
            { "name": "Day", "value": { "type": "DateTime", "date": "SliceStart", "format": "%d" } },
            { "name": "Hour", "value": { "type": "DateTime", "date": "SliceStart", "format": "hh" } }
        ],
        "format": {
            "type": "TextFormat",
            "rowDelimiter": "\n",
            "columnDelimiter": "    "
        }
    },
    "availability": {
        "frequency": "Hour",
        "interval": 1
    },
    "external": true,
    "policy": {}
}

上記により、現在 UTC タイム ゾーンを実行するパイプラインfolderPathのランタイム値が生成されます。 uploadtransactional/yearno=2016/monthno=05/dayno=30/hourno=07/

于 2016-05-30T04:18:49.633 に答える