caching - リソースのダウンロード中に Dockerfile 命令キャッシュを無効にするためのいくつかの戦略は何ですか?

Question

一部の Docker イメージでは、Java、Node.js、モバイル (Android および iOS) アプリの配布を担当する Nexus サーバーまたはインターネットから、より大きなバイナリをダウンロードする必要があります。たとえば、ADD または RUN 命令を使用してダウンロードします。

RUN curl -o docker https://get.docker.com/builds/Linux/x86_64/docker-latest

コマンド「docker build」がファイルの mtime に応じて命令とキャッシュを確認することを考慮すると、バイナリ全体の再ダウンロードを回避して、これらのイメージをビルドする際にキャッシュメカニズムを利用するアプローチは何ですか? https://stackoverflow.com/a/26612694/433814 .

もう 1 つの質問は、リソースが変更された場合、Docker は最新バージョンをダウンロードしないということです。

score 6 · Accepted Answer

解決

Docker は、「RUN curl」や ADD を使用してダウンロードする前に、キャッシュメカニズムを確認しません。ダウンロードの手順を繰り返します。ただし、特にファイルの mtime がhttps://stackoverflow.com/a/26612694/433814に変更されている場合、Docker はキャッシュを無効にします。https://github.com/docker/docker/blob/master/pkg/tarsum/versioning.go#L84

これは、Nexus などのファイルストレージまたはリポジトリからの依存関係を使用して Dockerfile を構築するときに、この問題を解決するために取り組んできた戦略です。Amazon S3 は、リソースから ETag を取得し、キャッシュし、キャッシュの mdtime を変更します。フラグファイル。( https://gist.github.com/marcellodesales/721694c905dc1a2524bc#file-s3update-py-L18 )。Python ( https://stackoverflow.com/a/25307587 )、Node.js ( http://bitjudo.com/blog/2014/03/13/building-effective-dockerfiles-node-dot ) で実行されるアプローチに従います。 -js/ ) プロジェクト。

私たちができることは次のとおりです。

リソースの ETag を取得し、Dockerfile の外に保存します
ダウンロードの前に ADD 命令を使用して、キャッシュ可能なファイルを追加します。
- Docker はファイルの mtime メタデータをチェックして、キャッシュを無効にするかどうかを確認します。
通常どおり RUN 命令を使用してコンテンツをダウンロードします
- 前の指示が無効になった場合、Docker はファイルを再ダウンロードします。そうでない場合は、キャッシュが使用されます。

この戦略をデモするためのセットアップは次のとおりです。

例

HEAD リクエストを処理し、通常はサーバーから返される ETag ヘッダーを返す Web サーバーを作成します。
- これは、ファイルの Nexus または S3 ストレージをシミュレートします。
イメージをビルドし、依存レイヤーがリソースを初めてダウンロードすることを確認します
- ETag の現在の値をキャッシュする
イメージを再構築し、依存レイヤーが Cached 値を使用することを確認します。
Web サーバーハンドラーによって返される ETag 値を変更して、変更をシミュレートします。
- さらに、ファイルが変更された変更 IFF を永続化します。この原因で、はい...
- イメージを再構築し、依存レイヤーが無効になり、ダウンロードがトリガーされることを確認します。
イメージを再構築し、キャッシュが使用されたことを確認します。

1. Node.js サーバー

ファイルを提供する次の Node.js サーバーがあるとします。HEAD 操作を実装して値を返しましょう。

// You'll see the client-side's output on the console when you run it.

var restify = require('restify');

// Server
var server = restify.createServer({
  name: 'myapp',
  version: '1.0.0'
});

server.head("/", function (req, res, next) {
  res.writeHead(200, {'Content-Type': 'application/json; charset=utf-8',
        'ETag': '"{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"'});
  res.end();
  return next();
});

server.get("/", function (req, res, next) {
  res.writeHead(200, {'Content-Type': 'application/json; charset=utf-8',
        'ETag': '"{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"'});
  res.write("The file to be downloaded");
  res.end();
  return next();
});

server.listen(80, function () {
  console.log('%s listening at %s', server.name, server.url);
});

// Client
var client = restify.createJsonClient({
  url: 'http://localhost:80',
  version: '~1.0'
});

client.head('/', function (err, req, res, obj) {
  if(err) console.log("An error ocurred:", err);
  else console.log('HEAD    /   returned headers: %j', res.headers);
});

これを実行すると、次のようになります。

mdesales@ubuntu [11/27/201411:10:49] ~/dev/icode/fuego/interview (feature/supportLogAuditor *) $ node testserver.js 
myapp listening at http://0.0.0.0:8181
HEAD    /   returned headers: {"content-type":"application/json; charset=utf-8",
            "etag":"\"{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}\"",
            "date":"Thu, 27 Nov 2014 19:10:50 GMT","connection":"keep-alive"}

2. ETag 値に基づいてイメージを構築する

ETag ヘッダーをファイルにキャッシュする次のビルドスクリプトを検討してください。

#!/bin/sh

# Delete the existing first, and get the headers of the server to a file "headers.txt"
# Grep the ETag to a "new-docker.etag" file
# If the file exists, verify if the ETag has changed and/or move/modify the mtime of the file
# Proceed with the "docker build" as usual
rm -f new-docker.etag
curl -I -D headers.txt http://192.168.248.133:8181/ && \
  grep -o 'ETag[^*]*' headers.txt > new-docker.etag && \
  rm -f headers.txt

if [ ! -f docker.etag ]; then
  cp new-docker.etag docker.etag
else
  new=$(cat docker.etag)
  old=$(cat new-docker.etag)
  echo "Old ETag = $old"
  echo "New ETag = $new"
  if [ "$old" != "$new" ]; then
    mv new-docker.etag docker.etag
    touch -t 200001010000.00 docker.etag
  fi
fi

docker build -t platform.registry.docker.corp.intuit.net/container/mule:3.4.1 .

3. キャッシュの再構築と使用

現在のキャッシュを使用していることを考えると、これをビルドすると次のようになります。

mdesales@ubuntu [11/27/201411:54:08] ~/dev/github-intuit/docker-images/platform/mule-3.4 (master) $ ./build.sh 
HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"
Date: Thu, 27 Nov 2014 19:54:16 GMT
Connection: keep-alive

Old ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"
New ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"
Sending build context to Docker daemon 51.71 kB
Sending build context to Docker daemon 
Step 0 : FROM core.registry.docker.corp.intuit.net/runtime/java:7
 ---> 3eb1591273f5
Step 1 : MAINTAINER Marcello_deSales@intuit.com
 ---> Using cache
 ---> 9bb8fff83697
Step 2 : WORKDIR /opt
 ---> Using cache
 ---> 3e3c96d96fc9
Step 3 : ADD docker.etag /tmp/docker.etag
 ---> Using cache
 ---> db3f82289475
Step 4 : RUN cat /tmp/docker.etag
 ---> Using cache
 ---> 0d4147a5f5ee
Step 5 : RUN curl -o docker https://get.docker.com/builds/Linux/x86_64/docker-latest
 ---> Using cache
 ---> 6bd6e75be322
Successfully built 6bd6e75be322

4. ETag 変更のシミュレーション

サーバーの ETag の値を変更し、サーバーを再起動して新しい更新をシミュレートすると、キャッシュフラグファイルが更新され、キャッシュが無効になります。たとえば、Etag は「465fb0d9b9f143ad691c7c3bcf3801b47284f8333」に変更されました。再構築すると、ETag ファイルが更新されたため、新しいダウンロードがトリガーされ、Docker は「ADD」命令でそれを確認します。ここで、ステップ 5 が再び実行されます。

mdesales@ubuntu [11/27/201411:54:16] ~/dev/github-intuit/docker-images/platform/mule-3.4 (master) $ ./build.sh 
HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
Date: Thu, 27 Nov 2014 19:54:45 GMT
Connection: keep-alive

Old ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
New ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"
Sending build context to Docker daemon 50.69 kB
Sending build context to Docker daemon 
Step 0 : FROM core.registry.docker.corp.intuit.net/runtime/java:7
 ---> 3eb1591273f5
Step 1 : MAINTAINER Marcello_deSales@intuit.com
 ---> Using cache
 ---> 9bb8fff83697
Step 2 : WORKDIR /opt
 ---> Using cache
 ---> 3e3c96d96fc9
Step 3 : ADD docker.etag /tmp/docker.etag
 ---> ac3b200c8cdc
Removing intermediate container 4cf0040dbc43
Step 4 : RUN cat /tmp/docker.etag
 ---> Running in 4dd38d30549a
ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
 ---> 4fafbeac2180
Removing intermediate container 4dd38d30549a
Step 5 : RUN curl -o docker https://get.docker.com/builds/Linux/x86_64/docker-latest
 ---> Running in de920c7a2e28
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 13.5M  100 13.5M    0     0  1361k      0  0:00:10  0:00:10 --:--:-- 2283k
 ---> 95aff324da85
Removing intermediate container de920c7a2e28
Successfully built 95aff324da85

5. キャッシュの再利用

ETag が変更されていないことを考慮すると、キャッシュフラグファイルは同じままであり、Docker はキャッシュを使用して超高速ビルドを実行します。

mdesales@ubuntu [11/27/201411:54:56] ~/dev/github-intuit/docker-images/platform/mule-3.4 (master) $ ./build.sh 
HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
Date: Thu, 27 Nov 2014 19:54:58 GMT
Connection: keep-alive

Old ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
New ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
Sending build context to Docker daemon 51.71 kB
Sending build context to Docker daemon 
Step 0 : FROM core.registry.docker.corp.intuit.net/runtime/java:7
 ---> 3eb1591273f5
Step 1 : MAINTAINER Marcello_deSales@intuit.com
 ---> Using cache
 ---> 9bb8fff83697
Step 2 : WORKDIR /opt
 ---> Using cache
 ---> 3e3c96d96fc9
Step 3 : ADD docker.etag /tmp/docker.etag
 ---> Using cache
 ---> ac3b200c8cdc
Step 4 : RUN cat /tmp/docker.etag
 ---> Using cache
 ---> 4fafbeac2180
Step 5 : RUN curl -o docker https://get.docker.com/builds/Linux/x86_64/docker-latest
 ---> Using cache
 ---> 95aff324da85
Successfully built 95aff324da85

この戦略は、Node.js、Java、その他のアプリサーバー、またはビルド済みの依存関係を構築するために使用されています。

score 2 · Accepted Answer

私は似ていますが、より単純なアプローチを使用します。

http://www.example.com/pub/mybinmybinからダウンロードできる名前のバイナリを追加したいとしましょう。

私はジェンキンスの仕事で次のことを行います

wget -N http://www.example.com/pub/mybin

そして、私のDockerファイルには次のものがあります:

COPY mybin /usr/local/bin/

このオプション-Nは、サーバー上で変更された場合にのみバイナリをダウンロードします。wgetジョブを2 回目に実行すると、次のようになります。

...
Length: 12262118 (12M) [application/octet-stream]
Server file no newer than local file ‘mybin’ -- not retrieving.

そしてdocker buildキャッシュを使用します。

サーバー上でバイナリが変更された場合 (タイムスタンプが変更された場合) はwget、バイナリを再度ダウンロードし、COPY コマンドのキャッシュを無効にします。

caching - リソースのダウンロード中に Dockerfile 命令キャッシュを無効にするためのいくつかの戦略は何ですか?

2 に答える 2

解決

例

1. Node.js サーバー

2. ETag 値に基づいてイメージを構築する

3. キャッシュの再構築と使用

4. ETag 変更のシミュレーション

5. キャッシュの再利用

Related

Reference