次のようなデータ処理パイプラインを検討してください。
- インターネット上のどこかにホストされている REST API から大量のデータを取得し、データ ストアに保存します。
- 永続化されたデータに対していくつかの複雑なデータ変換を実行します。
- データ ストアでのデータ変換の結果を永続化します。
このようなパイプラインを Azure に実装することを目的としている場合、手順 2 と 3 はAzure Data Factoryアクティビティとして実装するのに適しているようです。
私の質問は、Azure Data Factory アクティビティにもステップ 1 を実装することは理にかなっていますか?
技術的には、データのダウンロードと永続化を実行する .Net アクティビティをコーディングできる可能性があります。