ConfigMapとSecret — Secretは暗号化ではない

ConfigMapとSecret。ConfigMapとSecretの書類、設定の歯車とアクセス用の鍵。

Secretは暗号化ではありません。ConfigMapとの違いを押さえ、何をどこに置くのかを決めます。

前回: Ingressで外に公開する — EXTERNAL-IPがpendingのまま

これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の Kubernetesは「状態を宣言する」 — minikube入門 の続きとして、そこでは触れなかった 「設定と秘密情報をどこに置くか」 を、実際に手で確かめる回です。

この記事のコマンドは、断りがない限りすべてVMの中(Ubuntu Server)で打ちます。 Windows の PowerShell では何もしません。 前提: minikube入門を終えて、kubectl get nodes が返ること。 この記事に出てくるパスワード・トークン・ユーザー名は、すべてダミーです。 dummy- で始まる文字列は私が適当に作った文字列で、どこにも通用しません。あなたも、本物のパスワードは絶対にこの練習に使わないでください。 練習用の値は dummy- を付ける、と決めておくと事故りません。

対象レベル: 中級〜上級 / 区分: 発展

目次

私がやらかしたこと

本線で最初に動かした Deployment の YAML は、こうなっていました。

        env:
        - name: DB_PASSWORD
          value: "dummy-pa55w0rd"

動きます。 アプリはちゃんとDBに繋がります。そして私は、この YAML を Git にコミットしました。

やってしまったあとで気づいたことが3つあります。

  1. パスワードを変えるには、YAML を書き換えて、コミットして、apply し直すことになる。 設定とアプリの寿命が違うのに、同じファイルに入っている
  2. 同じ YAML を、開発用と本番用で2枚に増やすことになる。 差分はパスワード1行だけなのに
  3. Git の履歴からは消えない。 次のコミットで消しても、過去のコミットには残り続ける

3番目が本当に効きます。「消したから大丈夫」は成立しません。 これは セキュリティ点検の回でも、SOPSの回でも同じ結論でした。漏れたら消すのではなく、作り直すしかありません。

Kubernetes には、この分離のために ConfigMap と Secret という2つの入れ物があります。 そしてこの記事の山場は、Secret のほうです。

Secret という名前を見て、私は「暗号化して保管してくれるもの」だと思っていました。 違います。base64 で符号化しているだけです。

名前が悪いのですが、名前を恨んでも守れません。何をしてくれて、何をしてくれないのかを、実際にデコードして目で見ます。

この記事でわかること

  • ConfigMap の渡し方は3通りあり、挙動が違うこと。環境変数で渡すと、値を変えてもPodを作り直すまで反映されない。ファイルでマウントすると反映される(ただし最大1分ほど遅れる)
  • Secret は暗号化ではないこと。base64 は符号化であって暗号化ではない。鍵が要らないものは、誰でも戻せる
  • etcd の中でも、既定では暗号化されていないこと。「Secret に入れたから安全」は、どこにも保証がない
  • Secret にも型があること。Opaque / kubernetes.io/dockerconfigjson / kubernetes.io/tls は、同じ入れ物の違うラベルではなく、Kubernetes 側の使われ方が違う
  • 守るのは Secret という機能ではなく、その周りだということ。権限で絞る・Gitに入れない・誰が読んだか記録するの3つに分かれること
  • kubectl get secret -o yaml の出力を、そのまま人に見せてはいけないこと。describe なら安全、というわけでもないこと

この記事でやること

  1. 練習用の namespace を作り、ConfigMap を1つ作る
  2. 同じ ConfigMap を3通り(1つずつ環境変数・envFrom でまとめて・ファイルとしてマウント)で Pod に渡し、Pod の中で env と cat で確かめる
  3. ConfigMap の値を書き換えて、環境変数は変わらず、ファイルだけ変わることを実際に見る
  4. Secret を作り、kubectl get secret -o yaml を base64 --decode に通して、平文が出るところまでやる
  5. プライベートレジストリ用の Secret を1つ作り、Pod に紐づける
  6. kubectl rollout restart で設定を反映させ、後片づけする

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
ConfigMap秘密でない設定を、キーと値で持つ入れ物。 アプリの外に設定を出すためのもの
Secret秘密の値を持つ入れ物。 中身は base64。暗号化ではない
base64バイト列を、64種類の文字だけで書き直す方法。 鍵は要らない。誰でも元に戻せる
符号化(エンコード)表現を変えるだけの変換。戻すのに秘密は要らない
暗号化鍵を持っている人だけが戻せる変換。base64 はこちらではない
etcdKubernetes が全部の状態を保存しているデータベース。Secret もここに入る
envFromConfigMap や Secret のキーを全部まとめて環境変数にする書き方
volumeMountsコンテナの中のある場所に、外のものをファイルとして見せる書き方
subPathマウントするとき、1ファイルだけを指定して置く書き方。便利だが落とし穴がある
RBAC誰が何をしてよいかを決める仕組み。Role(何をしてよいか)と Binding(誰に、を結ぶ)の2枚組
imagePullSecretsイメージを取ってくるときのログイン情報を、Podに教える設定
監査ログ(Audit Log)誰がAPIに何を要求したかの記録。既定では取っていない

準備 — 練習用の namespace を作る

練習は必ず専用の namespace の中でやります。 後片づけが delete namespace の1行で済むからです。

bash
$ minikube status

Running でなければ起動します。

bash
$ minikube start

練習用の namespace を作ります。

bash
$ kubectl create namespace cfgdemo

以降のコマンドで毎回 -n cfgdemo と打つのは面倒なので、このターミナルの既定を切り替えておきます。

bash
$ kubectl config set-context --current --namespace=cfgdemo

いまどこにいるかを確かめます。

bash
$ kubectl config view --minify --output "jsonpath={..namespace}"
cfgdemo

この設定はターミナルを閉じても残ります。 記事の最後の「後片づけ」で default に戻します。戻し忘れると、次にやる作業が全部この namespace に入ります。 私はこれで一度、別の練習を丸ごと消しました。

ConfigMap を1つ作る

まず、秘密ではない設定を入れます。アプリの動作モードと、あいさつ文の2つにします。

bash
$ kubectl create configmap app-config \
    --from-literal=APP_MODE=training \
    --from-literal=APP_GREETING=hello-from-configmap

中身を見ます。

bash
$ kubectl get configmap app-config -o yaml
apiVersion: v1
data:
  APP_GREETING: hello-from-configmap
  APP_MODE: training
kind: ConfigMap
metadata:
  name: app-config
  namespace: cfgdemo

data: の下がそのまま読めます。 ConfigMap は隠す気がない入れ物です。ここが Secret との唯一で最大の違い……ではない、というのがこの記事の後半です。

[スクリーンショット: 01_configmap作成.png] kubectl get configmap app-config -o yaml の出力を撮ってください。data: の下に2行見えていれば大丈夫です。


同じ ConfigMap を、3通りで渡す

ここが1つ目の山場です。 ConfigMap の渡し方は3つあり、どれを選ぶかで「設定を変えたときの挙動」が変わります。 3つ同時に載せた Pod を1つ作って、中で見比べます。

作業用のディレクトリを作ります。

bash
$ mkdir -p ~/k8s-config && cd ~/k8s-config

demo.yaml を作ります。

bash
$ nano demo.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: demo
spec:
  replicas: 1
  selector:
    matchLabels:
      app: demo
  template:
    metadata:
      labels:
        app: demo
    spec:
      containers:
      - name: web
        image: nginx:alpine
        env:
        # ① 1つずつ、名前を変えて環境変数にする
        - name: MODE_FROM_KEYREF
          valueFrom:
            configMapKeyRef:
              name: app-config
              key: APP_MODE
        # ② まとめて環境変数にする(キー名がそのまま変数名になる)
        envFrom:
        - configMapRef:
            name: app-config
        # ③ ファイルとしてマウントする
        volumeMounts:
        - name: config-volume
          mountPath: /etc/app-config
          readOnly: true
      volumes:
      - name: config-volume
        configMap:
          name: app-config

適用します。

bash
$ kubectl apply -f demo.yaml

Podが立ち上がるまで待ちます。

bash
$ kubectl get pods -w

STATUS が Running になったら Ctrl + C で止めます。

① 1つずつ環境変数にする(configMapKeyRef)

ConfigMap のキーを1つ選んで、好きな変数名で渡す書き方です。

bash
$ kubectl exec deploy/demo -- printenv MODE_FROM_KEYREF
training

APP_MODE というキーが、MODE_FROM_KEYREF という別名でコンテナに入りました。 これが configMapKeyRef の value です。アプリが期待する変数名と、設定の管理名が違うときに使います。

② まとめて環境変数にする(envFrom)

ConfigMap のキーを全部、そのままの名前で環境変数にする書き方です。

bash
$ kubectl exec deploy/demo -- printenv APP_MODE APP_GREETING
training
hello-from-configmap

書く量は圧倒的に少ないです。ただし代償があります。

  • YAML を読んだだけでは、コンテナにどんな変数が入るのか分からない。ConfigMap 側を見に行かないと分からない
  • キー名が環境変数として不正だと、そのキーだけ飛ばされる(Kubernetes 1.31 以前で、1st_mode のように数字で始まるものなど。my.key のようなドットは使える)。そのときは Warning イベント InvalidEnvironmentVariableNames が残る

2つ目は本当に黙ります。エラーになりません。入ってこない変数があったら、まずキー名を疑ってください。

③ ファイルとしてマウントする(volumes + volumeMounts)

ConfigMap の「キー」がファイル名に、「値」がファイルの中身になります。

bash
$ kubectl exec deploy/demo -- ls /etc/app-config
APP_GREETING
APP_MODE

キーの数だけファイルができています。 中身を見ます。

bash
$ kubectl exec deploy/demo -- cat /etc/app-config/APP_MODE
training

[スクリーンショット: 02_3通りの確認.png] printenv 2回と cat の結果が並んだターミナルを撮ってください。同じ training が3つの経路で出ていることが分かります。

なお ls -l を打つと、少し驚くものが見えます。

bash
$ kubectl exec deploy/demo -- ls -l /etc/app-config
total 0
lrwxrwxrwx 1 root root 15 Sep 25 04:10 APP_GREETING -> ..data/APP_GREETING
lrwxrwxrwx 1 root root 11 Sep 25 04:10 APP_MODE -> ..data/APP_MODE

実体ではなくシンボリックリンクです。 これは飾りではなく、次にやる「値を変えたら反映されるのか」の答えそのものです。あとで戻ってきます。


値を書き換えて、何が反映されるかを見る

ここが山場①の本体です。 ConfigMap の値を変えます。

bash
$ kubectl create configmap app-config \
    --from-literal=APP_MODE=production \
    --from-literal=APP_GREETING=hello-from-configmap \
    --dry-run=client -o yaml | kubectl apply -f -

--dry-run=client -o yaml | kubectl apply -f - は、「作るコマンドの結果を、作らずに YAML として出して、それを適用する」という定番の書き方です。kubectl create は既にあるものに対しては失敗するので、更新にはこの形を使います。

ConfigMap 自体は変わりました。

bash
$ kubectl get configmap app-config -o jsonpath="{.data.APP_MODE}"
production

では、Podの中はどうなっているか。

ここで焦らないでください。ファイルの反映には時間がかかります。 kubelet が定期的に見に行く仕組みなので、手元では最大1分ほど遅れました。 すぐに cat して「変わらないじゃないか」と結論を出すと、間違った結論になります。私はここで一度、間違った結論を出しました。

1分ほど待ってから、3つとも確かめます。

bash
$ kubectl exec deploy/demo -- printenv MODE_FROM_KEYREF
training
bash
$ kubectl exec deploy/demo -- printenv APP_MODE
training
bash
$ kubectl exec deploy/demo -- cat /etc/app-config/APP_MODE
production

分かれました。

渡し方ConfigMap を変えたら理由
① configMapKeyRef変わらない環境変数はプロセス起動時に決まる。あとから差し替える方法がない
② envFrom変わらない同上
③ ファイルマウント変わる(最大1分ほど遅れる)kubelet がファイルを置き換えているから

これは Kubernetes の都合ではなく、OS の都合です。 環境変数は、プロセスを起動するときに親から渡される。 動いているプロセスの環境変数を外から書き換える標準的な方法は、そもそもありません。

さっきのシンボリックリンクが効いてくるのがここです。kubelet は新しい中身のディレクトリを丸ごと作ってから、リンクを張り替えます。 だから「半分だけ新しいファイル」という状態が発生しません。 設定ファイルを2枚読むアプリでも、片方だけ新しい、という事故が起きないようになっています。

では①②はどうやって反映するのか。Podを作り直します。 それがこの記事の後半、rollout restart の話です。

subPath を使うと、③でも反映されない

「ディレクトリを丸ごと置き換えたくない、1ファイルだけ足したい」というとき、subPath を使いたくなります。

        volumeMounts:
        - name: config-volume
          mountPath: /etc/nginx/conf.d/extra.conf
          subPath: extra.conf

これは動きます。が、更新されません。 subPath はリンクの張り替えではなく実体を1つ置くので、さっきの仕組みが働きません。

「ファイルにすれば反映される」は、subPath を使った瞬間に嘘になります。 覚え方はひとつです。

反映されるのは「ディレクトリごとマウントしたとき」だけ。


Secret は暗号化ではない

ここが2つ目の山場です。 秘密の値を入れる番です。

bash
$ kubectl create secret generic app-secret \
    --from-literal=DB_USER=appuser \
    --from-literal=DB_PASSWORD=dummy-pa55w0rd

繰り返しますが、dummy-pa55w0rd はダミーです。 あなたの本物のパスワードを打たないでください。そして、この kubectl create secret という打ち方自体にも問題があります(後述します)。

まず、おとなしいほうの表示から。

bash
$ kubectl describe secret app-secret
Name:         app-secret
Namespace:    cfgdemo
Type:         Opaque

Data
====
DB_PASSWORD:  14 bytes
DB_USER:      7 bytes

値が出ません。「14 bytes」としか言いません。 ここで「なるほど、Secret は隠してくれるのか」と思ったのが、私の間違いでした。

-o yaml で見る

bash
$ kubectl get secret app-secret -o yaml
apiVersion: v1
data:
  DB_PASSWORD: ZHVtbXktcGE1NXcwcmQ=
  DB_USER: YXBwdXNlcg==
kind: Secret
metadata:
  name: app-secret
  namespace: cfgdemo
type: Opaque

読めない文字列が出てきました。 暗号化されているように見えます。見えるだけです。

戻してみる

bash
$ kubectl get secret app-secret -o jsonpath="{.data.DB_PASSWORD}" | base64 --decode
dummy-pa55w0rd

鍵を1つも指定していません。 パスワードも、証明書も、環境変数も要りません。このコマンドを打てる人は、全員この値を読めます。

base64 は符号化であって、暗号化ではありません。 暗号化は「鍵を持っている人だけが戻せる」変換です。base64 に鍵はありません。

これは新しい話ではありません。文字化けは壊れたのではない — 文字コードとUTF-8 でやったのとまったく同じ構図です。UTF-8 も Shift_JIS も base64 も、「同じ情報を、別の書き方で書いているだけ」です。読めないのは知らないだけで、秘密だからではありません。

では、なぜ base64 なのか。 隠すためではなく、入れられるものを増やすためです。Secret には証明書や鍵ファイルのような改行やヌルバイトを含むバイナリも入ります。それを YAML というテキストの中に安全に運ぶには、文字だけで書き直す必要がありました。目的は運搬であって、秘匿ではありません。

[スクリーンショット: 03_base64デコード.png] base64 --decode に通して平文が出た画面を撮ってください。本物のパスワードでやったものは絶対に撮らないでください。 この記事はダミー値だから撮れます。

etcd の中でも、既定では平文

「YAMLに出るのは仕方ないとして、保存されている場所では暗号化されているだろう」と思いました。されていません。

Kubernetes は全部の状態を etcd に保存します。Secret も、既定ではそのまま入ります。 つまり、

  • etcd のバックアップファイルを手に入れた人は、Secret を全部読めます
  • etcd が動いているサーバーのディスクを持ち出せる人も、同じです

これを変えるには、APIサーバー側に EncryptionConfiguration という設定を渡して、保存時に暗号化する(encryption at rest)を有効にします。名前だけ挙げておきます。 minikube の単一ノードで練習する話ではなく、クラスタを自分で運用する立場になったときに必ず出てくる設定です。

「Secret に入れたから安全」と言えるのは、この設定を自分で確認したときだけです。 マネージドの Kubernetes では提供側が有効にしていることが多いですが、「多い」であって「必ず」ではありません。


Secret には型がある

type: Opaque と表示されていました。型は3つ覚えれば足ります。

type何のためのものか中のキー
Opaque決まりのない、ただの入れ物。 自分のアプリ用自由
kubernetes.io/dockerconfigjsonイメージを取ってくるときのログイン情報.dockerconfigjson 固定
kubernetes.io/tlsサーバー証明書と秘密鍵tls.crt / tls.key 固定

型は飾りではありません。 Kubernetes 側がその型を前提に中身を読みに行くので、キー名が違うと動きません。逆に言えば、型が決まっているものは、自分でキー名を考えてはいけません。

プライベートレジストリから取る設定を作る

レジストリを立てる回で、自分のイメージを置く場所を作りました。そこに認証がかかっていると、Kubernetes はイメージを取れません。 ImagePullBackOff で止まります。

ログイン情報を Secret にして渡します。

bash
$ kubectl create secret docker-registry regcred \
    --docker-server=registry.example.internal:5000 \
    --docker-username=dummy-user \
    --docker-password=dummy-registry-pass \
    --docker-email=dummy@example.invalid

型を確かめます。

bash
$ kubectl get secret regcred -o jsonpath="{.type}"
kubernetes.io/dockerconfigjson

generic ではなく docker-registry というサブコマンドを使うと、型とキー名を Kubernetes が決めてくれます。 中身は、Docker にログインしたときにできるあの JSON と同じ形です。

使うときは、Podの spec に紐づけます。 コンテナの中ではなく、Podのレベルに書くのがポイントです。

    spec:
      imagePullSecrets:
      - name: regcred
      containers:
      - name: web
        image: registry.example.internal:5000/myapp:1.0

Secret は namespace の中でしか使えません。 別の namespace にPodを作ったら、そこにも同じ Secret を作り直す必要があります。 「本番の namespace だけイメージが取れない」の原因は、たいていこれです。

kubernetes.io/tls のほうは、証明書ファイルから作ります。キー名は tls.crt と tls.key で固定なので、覚えることはありません。

bash
$ kubectl create secret tls demo-tls --cert=dummy.crt --key=dummy.key

ではどう守るのか

base64 は守ってくれない。etcd も既定では守ってくれない。 では Secret を使う意味はどこにあるのか。

意味はあります。ただし「Secret という機能」ではなく「Secret にしたことで、周りの仕組みが効くようになる」という形の意味です。3つあります。

1. 権限で絞る

Secret は独立したリソースなので、「Secret だけ読めない人」を作れます。 Deployment の YAML に直接書いてあったら、Deployment を読める人は全員パスワードを読めます。 分けた最大の効果はここです。

いまの自分が読めるかどうかは、これで分かります。

bash
$ kubectl auth can-i get secrets -n cfgdemo
yes

架空の人になりすまして聞くこともできます。

bash
$ kubectl auth can-i get secrets -n cfgdemo --as=dummy-viewer
no

まだ何の権限も与えていない dummy-viewer は読めません。 これが出発点で、ここから「Podは見られるが Secret は読めない」といった役を作っていきます。この設計の話は、それだけで1本になるので、ここでは「権限で絞れる」ところまでにします。

ただし、抜け道があります。 Secret を読む権限が無くても、その Secret を環境変数として使う Pod を作れる人は、中身を読めます。 Pod を作って printenv すればいいだけだからです。「Secret を読めない」は「Pod を作れない」とセットでないと意味がありません。

2. Git に入れない

Secret の YAML は、そのままでは Git に置けません。 base64 は暗号化ではないので、リポジトリに置いた瞬間に、リポジトリを読める全員に配ったのと同じです。

この問題は、すでに本線で正面から扱いました。

SOPS / Sealed Secrets / External Secrets の使い分けも、鍵をどこに置くかという最後まで残る問題も、その回に全部書いてあります。 ここで繰り返しません。Kubernetes の Secret は「クラスタの中での置き場」であって、「Git に置くための方法」ではない、とだけ押さえてください。

ArgoCDでGitOpsの回のように「Gitが正、クラスタは追従」にすると、この問題は必ず表に出ます。Git に置けないものが1種類だけ残るからです。

3. 誰が読んだかを記録する

「読めなくする」の次は、「読んだら分かるようにする」です。 Kubernetes には 監査ログ(Audit Log) があり、APIサーバーに来た要求を全部記録できます。誰が、いつ、どの Secret を get したか、が残ります。

既定では記録していません。 APIサーバーに監査ポリシーのファイルを渡して、はじめて動きます。「あとから調べればいい」ができるのは、先に有効にしておいた場合だけです。

この3つは、どれも Secret 単体の機能ではありません。 Secret にしたから、権限をかける対象になり、Gitから外す対象になり、記録する対象になった。それが「秘密を分けて置く」ということの中身でした。


やってはいけないこと

実際に危ないものを、はっきり書いておきます。

  1. kubectl get secret -o yaml の出力を、そのまま貼らない

質問サイトにも、チャットにも、記事にも、スクリーンショットにも。base64 は読めます。 「文字化けみたいだから大丈夫」は最悪の判断です

  1. describe なら安全、と思わない

値は出ませんが、キー名と、値のバイト数が出ます。 バイト数は情報です。8バイトのパスワードだと分かるだけで、攻撃側の作業は減ります

  1. アプリのログに環境変数を出さない

起動時に設定を全部ログに吐く実装は珍しくありません。envFrom でまとめて渡していると、Secret の中身が丸ごとログに乗ります

  1. kubectl create secret --from-literal=... を日常的に使わない

打ったコマンドはシェルの履歴に平文で残ります。history で誰でも読めます。ファイルから読ませる --from-file を使い、そのファイルは後で消すほうが安全です

  1. Secret の名前に中身を書かない

db-password-dummy-pa55w0rd のような名前を付けない。名前は権限を絞っても、たいてい見えます

1つ目は、この記事を書きながら一番怖かったところです。 だからこの記事の値は全部ダミーにしました。練習用のクラスタでも、本物の値を入れないでください。 入れた瞬間に、スクリーンショットが撮れなくなります。


設定を変えたら、Pod を作り直す

山場①で分かったとおり、環境変数で渡した設定は、ConfigMap や Secret を変えても反映されません。 反映させる方法は1つです。Podを作り直します。

bash
$ kubectl rollout restart deployment demo

進み具合を見ます。

bash
$ kubectl rollout status deployment demo
deployment "demo" successfully rolled out

確かめます。

bash
$ kubectl exec deploy/demo -- printenv APP_MODE
production

やっと環境変数のほうも production になりました。

kubectl delete pod で消すのとは違います。 rollout restart は新しいPodが立ってから古いPodを落とすので、途中で応答が途切れません。delete pod は先に落ちます。 練習では同じに見えますが、本番では別物です。

チェックサム注釈という定石

ここには落とし穴があります。 ConfigMap を変えたあと、rollout restart を打つのを忘れたら、設定は変わったのにアプリは古いまま動き続けます。 しかもエラーは1つも出ません。 これが一番たちが悪い。

そこで定石があります。「ConfigMap の中身のハッシュを、Deployment のテンプレートに注釈として書いておく」という方法です。

  template:
    metadata:
      annotations:
        checksum/config: "9f2b1c4e8a7d3f60"

この文字列に意味はありません。 意味があるのは、ConfigMap が変わればこの文字列も変わることだけです。Deployment のテンプレートが1文字でも変われば、Kubernetes は「別の状態を宣言された」と判断して、Podを作り直します。 つまり rollout restart を打ち忘れても、勝手に作り直されるようになります。

手で計算して書くものではありません。 Helmの回でやったようなテンプレートの仕組みが、ConfigMap の中身からハッシュを計算して、ここに差し込みます。 「そういう決まり文句がある」と知っているかどうかだけの話です。

本線で「Kubernetes は状態を宣言する」と書いたことの、実用的な帰結がこれです。 宣言が変わらなければ、何も起きない。だから、変わったことを宣言に混ぜる。


つまずいたところ

1. 「ファイルなら即時反映」と書いてある記事を読んで、cat して、変わっていなかった

待ちが足りませんでした。 kubelet が見に行く間隔があるので、手元では40秒ほどかかりました。 5秒で cat して「反映されない」と結論を出し、30分ほど無駄にしました。「変わらない」を確認するには、待つ必要があります。

2. envFrom で渡したはずの変数が、1つだけ入ってこなかった

ConfigMap のキーを 1st_mode と数字で始めていました。Kubernetes 1.31 以前では、数字で始まる名前は環境変数として不正とされ、そのキーだけ飛ばされます(1.32 以降はそのまま入ります)。Pod は起動します。 ただし黙ってではなく、kubectl describe pod や kubectl get events に Warning InvalidEnvironmentVariableNames が出ます。見ていなかったので気づきませんでした。 環境変数にするキーは、大文字とアンダースコアだけにする、と決めてから起きなくなりました。なお、app.mode のようなドット入りの名前は環境変数にもできます。 ファイルとしてマウントするなら app.properties のような名前が普通です。

3. subPath で1ファイルだけ置いたら、更新が反映されなくなった

「ディレクトリを丸ごと置き換えると、元からあったファイルが消える」のを避けようとして subPath を使い、そこで更新の仕組みを自分で殺していました。 上の②の話と合わせて、「便利な書き方には、たいてい何かを諦めている」という一般則を1つ覚えました。

4. kubectl create secret を打ったあと、履歴を消すのを忘れた

練習なのでダミーでしたが、本物だったら事故でした。 history に平文で残っています。「これは練習だから」で覚えた手癖は、本番でも出ます。 ダミーの段階から --from-file を使う癖をつけるべきでした。

5. Secret を別の namespace にコピーし忘れて、ImagePullBackOff を1時間追いかけた

kubectl describe pod の Events に pull access denied と出ていたのに、イメージ名のタイプミスを疑い続けていました。 エラーは下から読むを、また守れていませんでした。Secret は namespace をまたがない、が答えです。


後片づけ

練習用の namespace を丸ごと消します。 中の Deployment も ConfigMap も Secret も、一緒に消えます。

bash
$ kubectl delete namespace cfgdemo

既定の namespace を戻すのを忘れないでください。 消した namespace を指したままだと、次に打つコマンドが全部エラーになります。

bash
$ kubectl config set-context --current --namespace=default

戻ったことを確かめます。

bash
$ kubectl get pods

作業用のファイルも消します。

bash
$ rm -rf ~/k8s-config

シェルの履歴も消しておきます。 ダミーとはいえ、--from-literal でパスワードを打った行が残っています。本番で同じことをしたときのために、消す手順を今のうちに手に馴染ませておきます。

bash
$ history -c && history -w

クラスタごと止めるなら、これで止まります。

bash
$ minikube stop

まとめ — 理解できたこと

  • 設定をアプリの外に出す入れ物が ConfigMap と Secret。 分ける理由は「隠すため」だけではなく、設定とアプリの寿命が違うから
  • ConfigMap の渡し方は3通りあり、更新の挙動が違う。 環境変数(configMapKeyRef / envFrom)は Pod を作り直すまで反映されない。ディレクトリごとのファイルマウントだけが反映される(最大1分ほど遅れる。subPath を使うと反映されない)
  • Secret は暗号化ではない。base64 は符号化で、鍵が要らない。 -o yaml の出力を読める人は、全員中身を読める
  • etcd の中でも、既定では暗号化されていない。 保存時の暗号化は EncryptionConfiguration を自分で入れて初めて効く
  • Secret には型があり、dockerconfigjson と tls はキー名まで決まっている。 自分で名前を考えてはいけない。そして Secret は namespace をまたがない
  • 守るのは Secret の外側。 権限で絞る・Gitに入れない・誰が読んだか記録するの3つ。Secret にしたことで、この3つをかけられる対象になった、というのが本当の効果
  • 設定を変えたら Pod を作り直す。 kubectl rollout restart で足りるが、打ち忘れは無言で古いまま動く。だからチェックサム注釈という定石がある

この記事を書く前の私は、Secret という名前を信用していました。 いま信用しているのは、base64 --decode を打ったときに何が出るかを、自分の目で見たという事実のほうです。

参考リンク


次に読む

この記事は 【深掘り】Kubernetes の 6 / 15 本目です。

記事
← 前の記事Ingressで外に公開する — EXTERNAL-IPがpendingのまま
→ 次の記事PV・PVC・StorageClass — Podを作り直すとデータが消える

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Kubernetes — Configuration
  • ConfigMap の3つの渡し方と反映の違い
  • Secret は暗号化ではない

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次