API から Synapse Analytics データベースへの時系列データをダイジェストする必要があります。API は JSON を返します。これを、時系列の日付、値、および名前を保持するテーブルに変換したいと考えています。Python で次の JSON を返すことができます。
import requests
from pandas.io.json import json_normalize
url = 'https://api.citivelocity.com/markets/analytics/chartingbe/rest/external/authed/data?client_id='+CitiClientId
payload = {'startDate': 20200705, 'endDate': 20200712, 'tags': ['FX.SPOT.EUR.CHF.CITI'],'frequency':'DAILY'}
headers = {'authorization': 'Bearer'+access_token}
response = requests.post(url, json=payload, headers=headers)
print(response.text)
->
{"frequency":"DAILY","body":{"FX.SPOT.EUR.CHF.CITI":{"x":[20200706,20200707,20200708,20200709,20200710],"c":[1.06365, 1.06255,1.06265,1.06155,1.06325],"タイプ":"シリーズ"}},"ステータス":"OK"}
残念ながら、Postman または Azure Data Factory ではデータが返されません。API の呼び出しは ADF と Postman で成功していますが、リクエストに何か問題があると思います。
ADF が望ましい選択ですが、Synapse にデータを直接書き込むことができる場合は、databricks を使用しても問題ありません。
-> PythonでJSONをデータフレーム(日付、値、時系列の名前)に変換する方法は? データフレームから、Synapse に書き込むことができると思います。データ量を制限できるので、json_normalize を使用しても問題ありませんか?
魅力的なオプションの 1 つは、最初に json をデータベースに保存し、sql で変換を行うことですが、python で行う方がよりエレガントで堅牢なソリューションになると思います。
CREATE TABLE #SERIES WITH (DISTRIBUTION=ROUND_ROBIN) AS SELECT 'FX.SPOT.EUR.CHF.CITI' AS SERIES_NAME, '20200706, 20200707, 20200708, 20200709, 20200710' as dt, '1.06365, 1.06255, 1.06265, 1.06155, 1.06325' as cl
DECLARE @DT NVARCHAR(400)
DECLARE @CL NVARCHAR(400)
SELECT @DT=DT FROM #SERIES
SELECT @CL=CL FROM #SERIES
SELECT
DT.SERIES_NAME, DT.VALUE AS DT, CL.VALUE AS CL
FROM
(
SELECT row_number() OVER (ORDER BY (SELECT NULL)) AS RN, SERIES_NAME, LTRIM(dt.value) AS VALUE
FROM #SERIES
CROSS APPLY STRING_SPLIT(@DT, ',') dt
) DT
JOIN
(SELECT row_number() OVER (ORDER BY (SELECT NULL)) AS RN, SERIES_NAME, LTRIM(CL.value) AS VALUE
FROM #SERIES
CROSS APPLY STRING_SPLIT(@CL, ',') CL
) CL ON DT.SERIES_NAME = CL.SERIES_NAME AND DT.RN = CL.RN
->
SERIES_NAME DT CL
FX.SPOT.EUR.CHF.CITI 20200706 1.06365
FX.SPOT.EUR.CHF.CITI 20200707 1.06255
FX.SPOT.EUR.CHF.CITI 20200708 1.06265
FX.SPOT.EUR.CHF.CITI 20200709 1.06155
FX.SPOT.EUR.CHF.CITI 20200710 1.06325
ありがとう。