logging - カスタム FluentD Non DaemonSet @tail イベントへの Kubernetes メタデータの追加

Question

別のコンテナー (サンプル アプリケーション) からログを収集するサイドカーとして Fluentd を実行するポッドがあり、共通のボリュームが両方のコンテナー (volumeMounts) にマウントされています。

サンプル アプリケーション コードは UTC タイムスタンプをファイルに書き込みます

   containers:
    - name: sampleApplication
      image: ${DOCKER_IMAGE}:${DOCKER_TAG}
      args:
        - /bin/sh
        - -c
        - >
          i=0;
          while true;
          do
            echo "$i: $(date)" >> /var/log/1.log;
            i=$((i+1));
            sleep 1;
          done

/var/log/1.log のテール出力、

2849: Wed Mar 18 03:12:01 UTC 2020
2850: Wed Mar 18 03:12:02 UTC 2020
2851: Wed Mar 18 03:12:03 UTC 2020
2852: Wed Mar 18 03:12:04 UTC 2020
2853: Wed Mar 18 03:12:05 UTC 2020
2854: Wed Mar 18 03:12:06 UTC 2020

FluentD 構成:

fluent.conf: |-
  <source>
    @type tail
    path /var/log/1.log
    pos_file /var/log/1.log.pos
    refresh_interval 5
    rotate_wait 5
    time_format %Y-%m-%dT%H:%M:%S.%N%Z
    format json
    keep_time_key true
    tag fluentd_event
  </source>

  <match **>
    @type secure_forward
    self_hostname "#{ENV['HOSTNAME']}"
    shared_key ****12345678****
    secure yes
    ca_cert_path /tmp/fluentd/keys/ca_cert.pem
    ca_private_key_path /tmp/fluentd/keys/external_ca_key.pem
    ca_private_key_passphrase ocpsecureforward

    <server>
       # This server accepts the fluentD events
      host 100.100.100.23
      port 24284
    </server>
  </match>

@tail上記の構成は、 の fluentDプラグインのテール イベントを視覚化できる場合にうまく機能しますが、基本的な kubernetes メタデータを 、 、Kibanaなどのテール イベントに追加することも実現したいと考えています。プラグインを次のように構成しました。namespace_namepod_namecontainer_namekubernetes_metadata

<filter **>
 type kubernetes_metadata
 kubernetes_url "#{ENV['K8S_HOST_URL']}"
 cache_size "#{ENV['K8S_METADATA_CACHE_SIZE'] || '1000'}"
 watch "#{ENV['K8S_METADATA_WATCH'] || 'false'}"
 bearer_token_file /var/run/secrets/kubernetes.io/serviceaccount/token
 ca_file /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
 use_journal "#{ENV['USE_JOURNAL'] || 'nil'}"
 container_name_to_kubernetes_regexp '^(?<name_prefix>[^_]+)_(?<container_name>[^\._]+)(\.(? 
 <container_hash>[^_]+))?_(?<pod_name>[^_]+)_(?<namespace>[^_]+)_[^_]+_[^_]+$'

いくつかのブログを調べたところ、コンテナー ログ ファイルから kubernetes メタデータをフィルター処理して追加できることがわかりましたが、fluentD を DaemonSet として実行していません。これをサイドカーとして実行し、プラグインを使用してアプリケーション ログ ファイルを収集し、@tail基本的な kubernetes メタデータをイベントに追加するだけです。

kubernetes_metadataこれを達成するためにフィルターを活用できますか?