emr - Amazon EMR で HDFS キャッシングを有効にする方法を教えてください。

Question

EMR でHDFS キャッシュを有効にする最も簡単な方法は何ですか?

より具体的には、すべてのノードでdfs.datanode.max.locked.memory「メモリにロックできる最大サイズ」( ) を設定および増加する方法を教えてください。ulimit -l

次のコードは正常に動作するようで、更新して呼び出すdfs.datanode.max.locked.memoryカスタム ブートストラップを作成することもできます。より良いまたはより速い方法はありますか？/usr/lib/hadoop/hadoop-daemon.shulimit

elastic-mapreduce --create \
    --alive \
    --plain-output \
    --visible-to-all \
    --ami-version  3.1.0 \
    -a $access_id \
    -p $private_key \
    --name "test" \
    --master-instance-type m3.xlarge \
    --instance-group master --instance-type m3.xlarge  --instance-count 1 \
    --instance-group core --instance-type m3.xlarge --instance-count 10 \
    --pig-interactive \
    --log-uri s3://foo/bar/logs/ \
    --bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop \
    --args "--hdfs-key-value,dfs.datanode.max.locked.memory=2000000000" \