出力が S3 バケットに書き込まれる Hive クエリを実行する AWS Datapipeline を作成しようとしています。その後、データは AWS Redshift クラスターの S3 バケットから移動されます。
Hive クエリは、入力として Kinesis ストリームを使用しています。Kinesis のチェックポイント機能を活用しようとしていて、ShellCommandActivity に変数を渡して、ハイブ スクリプトで反復回数を設定できるようにしたいと考えています。とにかく、datapipeline が実行されるたびに 1 ずつ増加する変数を持つことはできますか?
どんな援助も素晴らしいでしょう！