stage = "true" で ShellCommandActivity を作成しました。シェル コマンドは新しいファイルを作成し、${OUTPUT1_STAGING_DIR} に保存します。この新しいファイルを S3 でサーバー側で暗号化する必要があります。
ドキュメントによると、s3 データ ノードで作成されたすべてのファイルは、デフォルトでサーバー側で暗号化されます。しかし、パイプラインが完了すると、暗号化されていないファイルが s3 に作成されます。S3データノードで明示的にs3EncryptionTypeをSERVER_SIDE_ENCRYPTIONとして設定しようとしましたが、それも役に立ちません。この新しいファイルを暗号化したい。
パイプラインの関連部分は次のとおりです。
{
"id": "DataNodeId_Fdcnk",
"schedule": {
"ref": "DefaultSchedule"
},
"directoryPath": "s3://my-bucket/test-pipeline",
"name": "s3DataNode",
"s3EncryptionType": "SERVER_SIDE_ENCRYPTION",
"type": "S3DataNode"
},
{
"id": "ActivityId_V1NOE",
"schedule": {
"ref": "DefaultSchedule"
},
"name": "FileGenerate",
"command": "echo 'This is a test' > ${OUTPUT1_STAGING_DIR}/foo.txt",
"workerGroup": "my-worker-group",
"output": {
"ref": "DataNodeId_Fdcnk"
},
"type": "ShellCommandActivity",
"stage": "true"
}