プロジェクトの場合、REST API でデータを公開する (レガシー) ツールからデータを読み取る ETL プロセス (抽出変換ロード) を開発する必要があります。このデータは、Amazon S3 に保存する必要があります。
私はApache nifiでこれを試すのが本当に好きですが、正直なところ、REST APIに接続する方法、およびソースシステムと「正しいプロトコルを話す」ビジネスロジックをどこに/どのように実装できるかはまだわかりません. たとえば、これまでに書き込まれたデータを追跡して、残ったところから読み込みを再開できるようにしたいと考えています。
これまでのところ、私はnifiのドキュメントを読んでおり、ツールが提供する/必要とするものについてより良い洞察を得ています。ただし、nifi アーキテクチャ内でタスクをどのように実装できるかは明確ではありません。
うまくいけば、誰かが私にいくつかのガイダンスを与えることができますか?
ありがとう、ポール