RBACとPodのセキュリティ — 全員がcluster-adminだった

全員がcluster-adminでは、事故が全体に及びます。RBACで権限を絞る手順を押さえます。

前回: HPAでオートスケール — TARGETSがunknownのまま

これは【深掘り】の記事です。本線の順路ではありません。 読まなくても先へ進めます。 本線の Kubernetesは「状態を宣言する」 — minikube入門 の続きとして、そこでは触れなかった 「誰が何をしてよいか」と「Podの中で何をしてよいか」 を、実際に手で作って確かめる回です。

この記事のコマンドは、断りがない限りすべてVMの中(Ubuntu Server)で打ちます。 Windows の PowerShell では何もしません。 前提: minikube入門を終えて、kubectl get nodes が返ること。 この記事に出てくる名前は、すべてダミーです。 dummy- で始まるものは私が適当に作った名前で、どこにも通用しません。本物のアカウント名やトークンを、この練習に混ぜないでください。 この記事は「守る側」だけを書きます。 権限の抜け道を突く手順は書きません。自分のクラスタで、自分の設定が効いているかを確かめるためのものです。

対象レベル: 中級〜上級 / 区分: 発展

目次

私がやらかしたこと

3台で組んだクラスタも、minikube も、私はずっと ~/.kube/config の1つの資格情報だけで使っていました。 そしてその資格情報は cluster-admin でした。

何を打っても通ります。 Pod も作れる、Secret も読める、kube-system の中も触れる、ノードも消せる。便利です。

ある日、Secretの回を書いていて、こう打ちました。

bash
$ kubectl auth can-i get secrets -n cfgdemo
yes

「yes と出た」ことに、何の情報も無いことに気づきました。 私は全部に yes と出る資格情報を使っています。このコマンドで確かめられることが、何も無い。

そこで一段引いて考えて、ようやく分かったことがあります。

全員が cluster-admin なら、それは「権限が無い」のと同じです。

権限という仕組みは、「できない人がいる」ことによってしか働きません。 全員が何でもできるなら、権限の設定は存在していないのと同じです。守られている感じがするのは、設定画面があるからであって、設定が効いているからではありません。

これはDBの権限の回で、root で繋いだまま全部持っていかれる、と書いたのとまったく同じ構造でした。道具が変わっても、間違え方は変わりません。

そして Kubernetes には、もう一段あります。 DBなら「誰が繋ぐか」だけですが、Kubernetes は Pod の中で動くプロセス自身も、クラスタのAPIを叩けるからです。人の権限と、Podの権限の、両方を絞る必要があります。

この記事は、その両方をひとつずつ作って、拒否されるところまで見る回です。

この記事でわかること

  • 全員が cluster-admin なら、権限設定は存在していないのと同じだということ。「yes と出た」に意味があるのは、no が出る人がいるときだけ
  • Role は namespace の中だけ、ClusterRole はクラスタ全体だということ。この2つは「大きさ違いの同じもの」ではなく、結び方の組み合わせで意味が変わること
  • RoleBinding は、存在しない相手に対しても作れてしまうこと。タイポしてもエラーは出ない。効いていないことに気づけるのは can-i を打ったときだけ
  • Pod には既定で ServiceAccount のトークンが自動でマウントされていること。APIを叩かないPodにも入っていること。要らないなら automountServiceAccountToken: false で切る
  • コンテナは既定で root で動いていること。「コンテナだから隔離されている」は、権限を落とす理由を消してくれないこと
  • NetworkPolicy は、CNI が対応していないと「作れてしまうのに効かない」こと。エラーは出ない

この記事でやること

  1. kubectl auth whoami と kubectl auth can-i --list で、いまの自分にできることを全部出す
  2. 読み取り専用の ServiceAccount を作る(ServiceAccount → Role → RoleBinding)。その権限で Pod を作ろうとして、拒否されるのを見る
  3. Pod の中に入って、マウントされているトークンでAPIを叩く。 そのあと automountServiceAccountToken: false で切る
  4. root で動いていることを確認してから securityContext で落とし、動かなくなったものを直す
  5. namespace に Pod Security Admission のラベルを付け、違反する Pod が弾かれるのを見る
  6. NetworkPolicy を1つ作り、通信が実際に止まるのを確かめる

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
認証(Authentication)あなたが誰かを確かめること。 Kubernetes は証明書やトークンで判断する
認可(Authorization)その人が、それをしてよいかを決めること。 RBAC はこちら側の話
RBACRole-Based Access Control。「役(Role)」を作って、それを人に結ぶやり方
ServiceAccountPod(プログラム)用のアカウント。 人間用ではない。namespace ごとに存在する
Role何をしてよいかの一覧。 namespace の中だけで有効
ClusterRoleRole と同じ形だが、クラスタ全体で使える。ノードなど namespace に属さないものも扱える
RoleBinding「誰に」と「どの役を」を結ぶ紙。 効く範囲はその namespace の中だけ
ClusterRoleBinding同じく結ぶ紙だが、全 namespace に効く
verb(動詞)get list watch create update patch delete など、操作の種類
--as(impersonate)別の人になったつもりで問い合わせるオプション。点検に使う
securityContextPod / コンテナを、どの権限で動かすかの設定
capabilityLinux が root の権限を細かく分けたもの。「全部の root」を渡さずに済ませるための単位
Pod Security Admission(PSA)namespace にラベルを付けるだけで、危ないPodの作成を拒否する仕組み。Kubernetes 標準
NetworkPolicyPodどうしの通信を絞る設定。 既定では全部繋がっている
CNIPod にネットワークを与えるプラグイン。Calico / Flannel / Cilium など

認証と認可の違いは、本線のパスワードは保存しない — セッションとJWTで扱いました。この記事は、認証が済んだあとの話だけを扱います。


準備 — 練習用の namespace を作る

練習は必ず専用の namespace の中でやります。 後片づけが delete namespace の1行で済むからです。

bash
$ kubectl create namespace rbacdemo
namespace/rbacdemo created

既定の namespace をここに向けておきます。打ち間違いで default を汚さないためです。

bash
$ kubectl config set-context --current --namespace=rbacdemo

いま向いている先を確かめます。

bash
$ kubectl config view --minify --output 'jsonpath={..namespace}'
rbacdemo

いまの権限を確認する

自分が誰なのかを聞く

bash
$ kubectl auth whoami
ATTRIBUTE   VALUE
Username    minikube-user
Groups      [system:masters system:authenticated]

system:masters が答えです。 このグループは Kubernetes の中で特別扱いされていて、RBAC の判定を通らずに全部許可されます。 つまり私は、RBAC の設定を1行も持たないまま、全部できる状態でした。

kubectl auth whoami は比較的新しいコマンドです。古い kubectl では unknown command になります。そのときは、こちらで代用できます。

bash
$ kubectl config view --minify

users: の下に出ている名前が、いま使っている資格情報です。

[スクリーンショット: 01_auth-whoami.png] kubectl auth whoami を実行し、Groups に system:masters が出ている画面を撮ってください。

自分に何ができるのかを、全部出す

bash
$ kubectl auth can-i --list -n rbacdemo
Resources    Non-Resource URLs   Resource Names   Verbs
*.*          []                  []               [*]
             [*]                 []               [*]

*.* に [*]。「全部のリソースに、全部の操作」です。 これが、冒頭で「can-i に意味が無かった」と書いた状態です。

これから作るのは、この表が数行しか出ない相手です。

5つの登場人物の関係

RBACに出てくるものは5つだけですが、組み合わせで意味が変わるので、ここで整理します。

   誰が                                何をしてよいか
 ------------                        ------------------
 ServiceAccount  ---\           /---  Role         (その namespace の中だけ)
 User            ----+-- 結ぶ --+
 Group           ---/           \---  ClusterRole  (クラスタ全体で使える)

              結ぶ紙は2種類
              --------------
              RoleBinding         → その namespace の中だけで有効
              ClusterRoleBinding  → 全 namespace で有効

表にすると、こうなります。

もの何を持つか有効な範囲
ServiceAccountPod用のアカウント(名前だけ。権限は持たない)作った namespace の中
Roleしてよいことの一覧その namespace の中だけ
ClusterRole同じく一覧。ノードなど namespace の外のものも書けるクラスタ全体
RoleBinding「誰に」×「どの役」その namespace の中だけ
ClusterRoleBinding「誰に」×「どの役」全 namespace

ここが一番間違えるところです。 結び方の組み合わせは、こうなります。

結ぶ紙役結果
RoleBindingRoleその namespace の中だけで効く(一番よく使う)
RoleBindingClusterRoleその namespace の中だけで、ClusterRole の内容が効く。役を使い回すための書き方
ClusterRoleBindingClusterRole全 namespace に効く。 一番強い
ClusterRoleBindingRoleできない。 Role は namespace の外へ出られない

2行目が実務でよく使う形です。 「Podを読むだけ」のような役は namespace ごとに作り直す意味がないので、ClusterRole として1つ作り、RoleBinding で namespace ごとに結ぶ、という使い方をします。役の定義は共有、効く範囲は限定、という分け方です。

そして ServiceAccount は権限を持ちません。 名前があるだけです。権限は必ず Binding が与えます。 ここを取り違えると、「ServiceAccount を作ったのに何もできない」で止まります。それは正常な状態です。

もともと入っている ClusterRole も見ておきます。

bash
$ kubectl get clusterrole | head -8
NAME                          CREATED AT
admin                         2026-09-20T04:11:52Z
cluster-admin                 2026-09-20T04:11:52Z
edit                          2026-09-20T04:11:53Z
view                          2026-09-20T04:11:53Z
...

view edit admin cluster-admin の4つは最初から用意されている既定の役です。自分で作る前に、これで足りないかを先に考えます。

ただし view には落とし穴があります。 view は Secret を読めません(あえて外してあります)。「見るだけだから view でいい」と思って渡すと、Secret だけ見えないという状態になります。これは意地悪ではなく、そのほうが安全だからです。


読み取り専用の ServiceAccount を作る

作るのはこの3つです。

ServiceAccount   dummy-viewer-sa       ← 誰
      ↓
  RoleBinding    dummy-viewer-binding  ← 結ぶ紙
      ↓
      Role       dummy-pod-reader      ← 何をしてよいか(get / list / watch だけ)

1. ServiceAccount を作る

bash
$ kubectl create serviceaccount dummy-viewer-sa -n rbacdemo
serviceaccount/dummy-viewer-sa created

この時点で何ができるかを聞きます。

bash
$ kubectl auth can-i list pods --as=system:serviceaccount:rbacdemo:dummy-viewer-sa -n rbacdemo
no

no です。 作っただけの ServiceAccount は何もできません。 これが出発点です。

--as=system:serviceaccount:<namespace>:<名前> という書き方は決まりです。ServiceAccount のユーザー名は、必ずこの形になります。

2. Role を作る(--dry-run=client -o yaml の型)

ここで覚えてほしい型があります。 YAML を手で書き起こさず、kubectl create に作らせてから直すやり方です。

bash
$ mkdir -p ~/k8s-rbac && cd ~/k8s-rbac
bash
$ kubectl create role dummy-pod-reader \
    --verb=get,list,watch \
    --resource=pods,pods/log \
    -n rbacdemo \
    --dry-run=client -o yaml > role.yaml

--dry-run=client は「送らずに、手元で組み立てるだけ」という意味です。 クラスタには何も起きません。-o yaml と組み合わせると、正しい形の YAML が手に入ります。

bash
$ cat role.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: dummy-pod-reader
  namespace: rbacdemo
rules:
- apiGroups:
  - ""
  resources:
  - pods
  - pods/log
  verbs:
  - get
  - list
  - watch

apiGroups: [""] の空文字は、コアAPIグループという意味です。Pod や Service や ConfigMap はここに入ります。Deployment は apps グループなので、同じ Role に足すなら apiGroups: ["apps"] の塊をもう1つ書きます。

この型は本当に効きます。 RBAC の YAML は綴りを間違えても、たいていエラーが出ません(後述)。打てるコマンドから起こしたほうが、確実です。

適用します。

bash
$ kubectl apply -f role.yaml
role.rbac.authorization.k8s.io/dummy-pod-reader created

3. RoleBinding で結ぶ

bash
$ kubectl create rolebinding dummy-viewer-binding \
    --role=dummy-pod-reader \
    --serviceaccount=rbacdemo:dummy-viewer-sa \
    -n rbacdemo \
    --dry-run=client -o yaml > binding.yaml
bash
$ cat binding.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: dummy-viewer-binding
  namespace: rbacdemo
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: dummy-pod-reader
subjects:
- kind: ServiceAccount
  name: dummy-viewer-sa
  namespace: rbacdemo

roleRef が「どの役を」、subjects が「誰に」です。 読むときはこの2つだけ見れば足ります。

bash
$ kubectl apply -f binding.yaml
rolebinding.rbac.authorization.k8s.io/dummy-viewer-binding created

roleRef は、あとから変更できません。 役を差し替えたいときは、RoleBinding を消して作り直します。 これは仕様で、「結び先だけ黙ってすり替える」を防ぐためです。

4. 効いているかを確かめる

bash
$ kubectl auth can-i --list --as=system:serviceaccount:rbacdemo:dummy-viewer-sa -n rbacdemo
Resources        Non-Resource URLs   Resource Names   Verbs
pods             []                  []               [get list watch]
pods/log         []                  []               [get list watch]

2行だけ。 これが「権限を設定した」ということの見た目です。冒頭の *.* と見比べてください。

1つずつ聞くこともできます。

bash
$ kubectl auth can-i list pods --as=system:serviceaccount:rbacdemo:dummy-viewer-sa -n rbacdemo
yes
bash
$ kubectl auth can-i create pods --as=system:serviceaccount:rbacdemo:dummy-viewer-sa -n rbacdemo
no
bash
$ kubectl auth can-i get secrets --as=system:serviceaccount:rbacdemo:dummy-viewer-sa -n rbacdemo
no

別の namespace ではどうかも、必ず確かめます。

bash
$ kubectl auth can-i list pods --as=system:serviceaccount:rbacdemo:dummy-viewer-sa -n default
no

ここが Role と ClusterRole の違いが目に見える場所です。 同じ ServiceAccount でも、rbacdemo では yes、default では no。 RoleBinding が namespace を越えないからです。

[スクリーンショット: 02_can-i-list.png] kubectl auth can-i --list --as=... を実行し、pods の2行だけが出ている画面を撮ってください。

5. 実際に、その権限で Pod を作ろうとする

can-i は「聞いているだけ」です。 本当に拒否されるかは、やってみないと分かりません。

bash
$ kubectl run dummy-blocked --image=nginx:1.27 \
    --as=system:serviceaccount:rbacdemo:dummy-viewer-sa \
    -n rbacdemo
Error from server (Forbidden): pods is forbidden: User
"system:serviceaccount:rbacdemo:dummy-viewer-sa" cannot create resource "pods"
in API group "" in the namespace "rbacdemo"

この1行が読めるようになると、RBACのトラブルはほぼ片付きます。 中身はこうです。

部分意味
User "system:serviceaccount:rbacdemo:dummy-viewer-sa"誰として聞かれたか
cannot createどの verb が足りないか
resource "pods"どのリソースか
in API group ""どのAPIグループか(空はコア)
in the namespace "rbacdemo"どの namespace か

足りないものが、そのまま書いてあります。 Role に足すべき verb と resource と apiGroup が、全部この行に出ています。エラーは下から読むの回で書いたとおり、メッセージを読まずに設定を足すのが、一番遠回りです。

読むほうは通ります。

bash
$ kubectl get pods --as=system:serviceaccount:rbacdemo:dummy-viewer-sa -n rbacdemo
No resources found in rbacdemo namespace.

「1つも無い」と返ってきました。 拒否ではありません。権限があって、中身が空です。この2つの違いを読み分けられることが、点検の前提になります。

[スクリーンショット: 03_forbidden.png] kubectl run ... --as=... が Error from server (Forbidden) で拒否された画面を撮ってください。

--as を使えること自体が、強い権限です

--as は誰でも使えるわけではありません。 他人になりすまして問い合わせる操作(impersonate)には、それ用の権限が要ります。 私が使えているのは cluster-admin だからです。

つまり、impersonate を持っている相手は、実質的に全員分の権限を持っています。 権限を配るときは、impersonate を渡さない、と覚えてください。点検のための道具は、点検する人だけが持ちます。


Pod の中から API を叩く

ここまでは、私が --as で「そのつもり」になっていただけです。 本当にその権限で動くのは、Pod の中のプログラムです。

トークンは、既定で自動的にマウントされている

Pod を1つ作ります。

bash
$ cat > caller.yaml <<'EOF'
  apiVersion: v1
  kind: Pod
  metadata:
    name: dummy-api-caller
    namespace: rbacdemo
  spec:
    serviceAccountName: dummy-viewer-sa
    containers:
    - name: curl
      image: curlimages/curl:8.6.0
      command: ["sleep", "3600"]
  EOF
bash
$ kubectl apply -f caller.yaml
bash
$ kubectl get pod dummy-api-caller -n rbacdemo
NAME               READY   STATUS    RESTARTS   AGE
dummy-api-caller   1/1     Running   0          12s

中に入ります。

bash
$ kubectl exec -it dummy-api-caller -n rbacdemo -- sh

ここから先は、Podの中のシェルです。

bash
$ ls /var/run/secrets/kubernetes.io/serviceaccount
ca.crt  namespace  token

何も指定していないのに、3つのファイルが入っています。 これが「ServiceAccount のトークンが自動でマウントされる」ということです。token は、このPodがAPIサーバーに対して名乗るための資格情報です。

このファイルの中身は、絶対に貼り付けないでください。 Secretの回で書いたのと同じで、読める人は全員、このPodと同じ権限で動けます。

そのトークンでAPIを叩く

bash
$ TOKEN=$(cat /var/run/secrets/kubernetes.io/serviceaccount/token)
$ CA=/var/run/secrets/kubernetes.io/serviceaccount/ca.crt
$ NS=$(cat /var/run/secrets/kubernetes.io/serviceaccount/namespace)
bash
$ curl -s --cacert $CA -H "Authorization: Bearer $TOKEN" https://kubernetes.default.svc/api/v1/namespaces/$NS/pods | head -5
{
  "kind": "PodList",
  "apiVersion": "v1",
  "metadata": {
    "resourceVersion": "18422"

通りました。 dummy-pod-reader に list pods があるからです。

kubernetes.default.svc は、APIサーバーを指す名前です。どの namespace の Pod からでも、この名前で届きます。Serviceの回で見た <サービス名>.<namespace>.svc の形そのままです。

次に、作る操作を試します。 拒否されることを確かめるためです。

bash
$ curl -s --cacert $CA -H "Authorization: Bearer $TOKEN" -X POST -H 'Content-Type: application/json' -d '{"apiVersion":"v1","kind":"Pod","metadata":{"name":"dummy-nope"},"spec":{"containers":[{"name":"c","image":"busybox"}]}}' https://kubernetes.default.svc/api/v1/namespaces/$NS/pods | head -8
{
  "kind": "Status",
  "apiVersion": "v1",
  "metadata": {},
  "status": "Failure",
  "message": "pods is forbidden: User \"system:serviceaccount:rbacdemo:dummy-viewer-sa\" cannot create resource \"pods\" in API group \"\" in the namespace \"rbacdemo\"",
  "reason": "Forbidden",

kubectl を通さなくても、同じ判定が返ります。 当たり前のようですが、ここが大事です。RBAC は kubectl の機能ではなく、APIサーバーの機能です。別のツールを使えば抜けられる、ということはありません。

Podから出ます。

bash
$ exit

要らないなら、トークンを切る

いま作ったPodは、APIを叩くために作りました。 しかし、世の中のPodのほとんどはAPIを叩きません。 それでも既定ではトークンが入っています。

入っているものは、いつか使われます。 使われなくても、そのPodに入られたときに、そのまま持ち出せる材料が1つ増えます。

切ります。

bash
$ cat > noauto.yaml <<'EOF'
  apiVersion: v1
  kind: Pod
  metadata:
    name: dummy-no-token
    namespace: rbacdemo
  spec:
    automountServiceAccountToken: false
    containers:
    - name: curl
      image: curlimages/curl:8.6.0
      command: ["sleep", "3600"]
  EOF
bash
$ kubectl apply -f noauto.yaml

確かめます。

bash
$ kubectl exec dummy-no-token -n rbacdemo -- ls /var/run/secrets/kubernetes.io/serviceaccount
ls: /var/run/secrets/kubernetes.io/serviceaccount: No such file or directory
command terminated with exit code 1

ディレクトリごと無くなりました。 APIを叩かないPodは、これを既定にしてよいと思います。

ServiceAccount 側でまとめて切ることもできます。

bash
$ kubectl patch serviceaccount default -n rbacdemo -p '{"automountServiceAccountToken": false}'
serviceaccount/default patched

Pod 側の指定のほうが優先されます。 ServiceAccount で切っても、Pod が true と書けば入ります。「既定を安全側にして、必要なものだけ明示する」という順番です。

default の ServiceAccount を使い回さない

serviceAccountName を書かないPodは、全部その namespace の default を使います。

これが積もると、こうなります。

  • default に権限を1つ足した瞬間、その namespace の全Podに配られる
  • どのPodが本当にその権限を要るのか、誰にも分からなくなる
  • 1つのPodのために足した権限が、無関係なPodにも付く

default には、何の権限も付けない。 そう決めてしまうのが一番簡単です。APIを叩くPodには、そのPod専用の ServiceAccount を作る。 名前が付いていれば、can-i --list で1つずつ点検できます。

「アプリごとに専用のDBユーザーを作る」のと、まったく同じ話です。DBの権限の回で書いたことが、そのまま通用します。


Pod のセキュリティ

ここまでは「クラスタに対して何をしてよいか」でした。 ここからは 「Podの中で何をしてよいか」 です。別の話です。 RBAC を完璧にしても、こちらは1ミリも良くなりません。

まず、root で動いていることを確認する

bash
$ kubectl run dummy-web --image=nginx:1.27 -n rbacdemo
bash
$ kubectl exec dummy-web -n rbacdemo -- id
uid=0(root) gid=0(root) groups=0(root)

root です。 何も指定しなければ、イメージが決めたユーザーで動き、多くの公式イメージは root です。

「コンテナだから隔離されているのでは」と私は思っていました。 そこは正確に言うと、こうです。

  • コンテナの中の root は、ホストの root と同じ番号(uid 0)です
  • 隔離しているのは、名前空間と cgroups と、削られた capability の集合です
  • その削りを外す設定が存在します。 privileged: true がそれです

つまり、「隔離されているから root でよい」ではなく、「隔離を薄くする設定があるから、そもそも root で動かさない」が正しい順番です。Linuxの権限の回で見た rwx の話が、そのままここでも効きます。

root を落とす → 動かなくなる

bash
$ cat > web-nonroot.yaml <<'EOF'
  apiVersion: v1
  kind: Pod
  metadata:
    name: dummy-web-nonroot
    namespace: rbacdemo
  spec:
    securityContext:
      runAsNonRoot: true
    containers:
    - name: web
      image: nginx:1.27
  EOF
bash
$ kubectl apply -f web-nonroot.yaml
bash
$ kubectl get pod dummy-web-nonroot -n rbacdemo
NAME                READY   STATUS                       RESTARTS   AGE
dummy-web-nonroot   0/1     CreateContainerConfigError   0          9s

理由を読みます。

bash
$ kubectl describe pod dummy-web-nonroot -n rbacdemo | tail -6
  Warning  Failed  8s (x3 over 20s)  kubelet
  Error: container has runAsNonRoot and image will run as root

これは失敗ではなく、想定どおりです。 nginx:1.27 は root で起動する設計なので、「root で動かすな」と言えば起動できません。

ここで runAsNonRoot: true を消してはいけません。 消すと元の状態に戻るだけです。直すのはイメージのほうです。

直す — root を要らないイメージにする

nginxinc/nginx-unprivileged は、非rootで動くように作られた nginx です。80番ではなく 8080番を使います(1024未満のポートは、特別な権限が要るからです)。

bash
$ cat > web-hardened.yaml <<'EOF'
  apiVersion: v1
  kind: Pod
  metadata:
    name: dummy-web-hardened
    namespace: rbacdemo
  spec:
    securityContext:
      runAsNonRoot: true
      runAsUser: 101
      runAsGroup: 101
      fsGroup: 101
      seccompProfile:
        type: RuntimeDefault
    containers:
    - name: web
      image: nginxinc/nginx-unprivileged:1.27
      ports:
      - containerPort: 8080
      securityContext:
        allowPrivilegeEscalation: false
        readOnlyRootFilesystem: true
        capabilities:
          drop: ["ALL"]
      volumeMounts:
      - name: tmp
        mountPath: /tmp
      - name: cache
        mountPath: /var/cache/nginx
      - name: run
        mountPath: /var/run
    volumes:
    - name: tmp
      emptyDir: {}
    - name: cache
      emptyDir: {}
    - name: run
      emptyDir: {}
  EOF
bash
$ kubectl apply -f web-hardened.yaml
bash
$ kubectl get pod dummy-web-hardened -n rbacdemo
NAME                 READY   STATUS    RESTARTS   AGE
dummy-web-hardened   1/1     Running   0          14s
bash
$ kubectl exec dummy-web-hardened -n rbacdemo -- id
uid=101(nginx) gid=101(nginx) groups=101(nginx)

書き込めないことも確かめます。

bash
$ kubectl exec dummy-web-hardened -n rbacdemo -- sh -c 'touch /usr/share/nginx/html/x'
touch: /usr/share/nginx/html/x: Read-only file system
command terminated with exit code 1

これが readOnlyRootFilesystem: true の効果です。 侵入されても、ファイルを置いて残ることができません。

readOnlyRootFilesystem は、必ず一度は壊れます

上の YAML で volumes を3つ足したのは、そのためです。 これを書かずに readOnlyRootFilesystem: true だけ付けると、nginx はこう言って落ちます。

nginx: [emerg] mkdir() "/tmp/nginx/client_body" failed (30: Read-only file system)

ログを読めば、書きたい場所が書いてあります。 手順はいつも同じです。

  1. readOnlyRootFilesystem: true を付けて、落ちるのを見る
  2. kubectl logs で、どこに書こうとしたかを読む
  3. その場所だけ emptyDir でマウントする
  4. もう一度動かす

「動かないから戻す」をやると、何も進みません。 落ちてから、落ちた場所だけ開ける。 これが順番です。

各項目が何をしているか

設定何が起きるか
runAsNonRoot: trueroot で起動しようとしたら、Podを起動させない(防波堤)
runAsUser: 101そのUIDで動かす。 イメージ側の指定を上書きする
allowPrivilegeEscalation: false途中でより強い権限を得ることを禁止する。 迷ったら必ず入れる
readOnlyRootFilesystem: trueファイルシステムを読み取り専用にする。 書く場所だけ別に与える
capabilities.drop: ["ALL"]root の細かい権限を全部落とす。 必要なものだけ add で戻す
seccompProfile.type: RuntimeDefault危ないシステムコールを既定の設定で塞ぐ
fsGroup: 101マウントしたボリュームのグループを合わせる(書けないときはここ)

privileged: true は使いません。 これは上の全部を無効化して、ホストとほぼ同じ権限を与える設定です。「動かないから付けた」で入っていることが本当に多く、入っていたら理由を疑うべき1行です。この記事では一度も使いません。


Pod Security Admission — namespace で門を作る

ここまでの securityContext は、書いた人が偉かっただけです。 書き忘れたPodは、いままでどおり root で動きます。

書き忘れを、クラスタ側で拒否する仕組みが Pod Security Admission です。Kubernetes に最初から入っていて、ラベルを付けるだけで動きます。

段階は3つです。

段階中身使いどころ
privileged何も制限しない事実上、無効と同じ
baseline明らかに危ないものだけ禁止(privileged、ホストのネットワークやPID など)最初に入れる段
restricted非root必須、allowPrivilegeEscalation: false 必須、capability を全部落とす、など本気で絞るとき

動かし方は3つあります。

ラベル動き
enforce違反するPodを作らせない
audit作らせるが、監査ログに記録する
warn作らせるが、kubectl に警告を出す

namespace にラベルを付けます。

bash
$ kubectl label namespace rbacdemo pod-security.kubernetes.io/enforce=restricted
namespace/rbacdemo labeled
bash
$ kubectl label namespace rbacdemo pod-security.kubernetes.io/warn=restricted

確かめます。

bash
$ kubectl get namespace rbacdemo --show-labels
NAME       STATUS   AGE   LABELS
rbacdemo   Active   22m   kubernetes.io/metadata.name=rbacdemo,pod-security.kubernetes.io/enforce=restricted,pod-security.kubernetes.io/warn=restricted

素の nginx を作ってみます。

bash
$ kubectl run dummy-rejected --image=nginx:1.27 -n rbacdemo
Error from server (Forbidden): pods "dummy-rejected" is forbidden: violates
PodSecurity "restricted:latest": allowPrivilegeEscalation != false (container
"dummy-rejected" must set securityContext.allowPrivilegeEscalation=false),
unrestricted capabilities (container "dummy-rejected" must set
securityContext.capabilities.drop=["ALL"]), runAsNonRoot != true, seccompProfile

足りない項目が、全部並んで返ってきます。 これは教材としてかなり親切です。「何を書けばよいか分からない」という問題が、このメッセージで解決します。

さっき作った dummy-web-hardened.yaml は通ります。

bash
$ kubectl delete pod dummy-web-hardened -n rbacdemo
$ kubectl apply -f web-hardened.yaml
pod/dummy-web-hardened created

通りました。 拒否されない YAML を1つ持っていれば、それが以後の雛形になります。

[スクリーンショット: 04_psa-reject.png] kubectl run が violates PodSecurity "restricted:latest" で拒否された画面を撮ってください。

3つの注意

  1. 既に動いているPodは止まりません。 PSA は作るとき・更新するときにしか見ません。あとから付けたラベルは、次の作り直しまで効きません
  2. いきなり enforce=restricted にしない。 まず warn=restricted と audit=restricted だけ付けて、何が引っかかるかを見てから enforce=baseline に進むのが安全です
  3. kube-system には付けない。 クラスタ自身の部品には、特別な権限が要るものがあります

段階的に入れるなら、この形が使いやすいと思いました。

bash
$ kubectl label namespace rbacdemo \
    pod-security.kubernetes.io/enforce=baseline \
    pod-security.kubernetes.io/warn=restricted \
    pod-security.kubernetes.io/audit=restricted \
    --overwrite

「危ないものは止める、絞りきれていないものは知らせる」という組み合わせです。


NetworkPolicy — 既定では全部繋がっている

もう1つ、既定が緩いものがあります。 Kubernetes の Pod は、既定で全部が全部と通信できます。 namespace も関係ありません。

Podの回で見たとおり、Pod には1つずつIPが付きます。 そのIP同士が、何の制限もなく届く、というのが初期状態です。

先に読んでください — CNI が対応していないと効きません

ここが一番の落とし穴です。

  • NetworkPolicy は「決まり」であって、「実行するもの」ではありません
  • 実際に通信を止めるのは CNI プラグイン(Calico、Cilium など)です
  • 対応していない CNI(素の Flannel など)でも、NetworkPolicy は作れてしまいます。 created と出ます。そして何も起きません
  • エラーも警告も出ません

「作った」と「効いている」が、ここまではっきり別なものは珍しいです。 だから、作ったら必ず遮断を確認します。

minikube の既定の CNI は NetworkPolicy に対応していません。 練習用に、別プロファイルのクラスタを1つ立てます(いま使っているクラスタは壊しません)。

bash
$ minikube start -p netpol --cni=calico

数分かかります。 Calico の Pod が全部 Running になるまで待ちます。

bash
$ kubectl --context=netpol get pods -n kube-system | grep calico
calico-kube-controllers-7c9d8b6f4d-xxxxx   1/1     Running   0          2m
calico-node-abcde                          1/1     Running   0          2m

3台構成の自前クラスタでも同じです。kubeadmで組む3台クラスタで Flannel を入れた場合、NetworkPolicy は効きません。 Calico や Cilium に替える必要があります。クラウドのマネージド Kubernetes では、既定で対応していることが多いですが、これも製品ごとに違います。マネージドKubernetesの回で書いたとおり、「消えない仕事」の1つです。

まず、繋がることを確かめる

bash
$ kubectl --context=netpol create namespace netpoldemo
bash
$ kubectl --context=netpol -n netpoldemo run dummy-server --image=nginx:1.27 --port=80
$ kubectl --context=netpol -n netpoldemo expose pod dummy-server --port=80
bash
$ kubectl --context=netpol -n netpoldemo run dummy-client --image=curlimages/curl:8.6.0 --command -- sleep 3600
bash
$ kubectl --context=netpol -n netpoldemo exec dummy-client -- curl -s -o /dev/null -w '%{http_code}\n' --max-time 5 http://dummy-server
200

繋がります。 何も許可していないのにです。これが既定です。

全部遮断する

bash
$ cat > deny-all.yaml <<'EOF'
  apiVersion: networking.k8s.io/v1
  kind: NetworkPolicy
  metadata:
    name: dummy-deny-all-ingress
    namespace: netpoldemo
  spec:
    podSelector: {}
    policyTypes:
    - Ingress
  EOF
bash
$ kubectl --context=netpol apply -f deny-all.yaml

読み方はこうです。

  • podSelector: {} は 「この namespace の全部のPod」という意味です。空は「なし」ではなく「全部」です
  • policyTypes: [Ingress] は「入ってくる通信について決める」
  • そして ingress: の項目が1つも無い = 許可が1つも無い = 全部拒否

もう一度叩きます。

bash
$ kubectl --context=netpol -n netpoldemo exec dummy-client -- curl -s -o /dev/null -w '%{http_code}\n' --max-time 5 http://dummy-server
command terminated with exit code 28

タイムアウトしました(exit code 28)。 「拒否されました」とは返りません。黙って届かなくなります。 ここは覚えておく価値があります。NetworkPolicy の遮断は、エラーメッセージではなくタイムアウトとして現れます。

必要なものだけ開ける

dummy-client というラベルの付いたPodからだけ、80番を許可します。

bash
$ cat > allow-client.yaml <<'EOF'
  apiVersion: networking.k8s.io/v1
  kind: NetworkPolicy
  metadata:
    name: dummy-allow-client
    namespace: netpoldemo
  spec:
    podSelector:
      matchLabels:
        run: dummy-server
    policyTypes:
    - Ingress
    ingress:
    - from:
      - podSelector:
          matchLabels:
            run: dummy-client
      ports:
      - protocol: TCP
        port: 80
  EOF
bash
$ kubectl --context=netpol apply -f allow-client.yaml
bash
$ kubectl --context=netpol -n netpoldemo exec dummy-client -- curl -s -o /dev/null -w '%{http_code}\n' --max-time 5 http://dummy-server
200

戻りました。 そして、ラベルの違うPodからは、まだ届きません。

bash
$ kubectl --context=netpol -n netpoldemo run dummy-other --image=curlimages/curl:8.6.0 --command -- sleep 3600
$ kubectl --context=netpol -n netpoldemo exec dummy-other -- curl -s -o /dev/null -w '%{http_code}\n' --max-time 5 http://dummy-server
command terminated with exit code 28

NetworkPolicy は足し算です。 複数のポリシーがあるとき、どれか1つでも許可すれば通ります。 「拒否のルール」を書くのではなく、「全部拒否」を1枚置いてから、許可を足していくという組み立て方になります。

policyTypes に Egress を書かない限り、出ていく通信は絞られません。 上の例で止めたのは入ってくる方向だけです。「遮断した」と思って外向きが素通り、という勘違いをしました。


点検の型 — 3つ打てば、だいたい分かる

設定より、点検のほうが長く使います。 私が定期的に打つことにした3つです。

1. その相手に何ができるかを、全部出す

bash
$ kubectl auth can-i --list -n rbacdemo
bash
$ kubectl auth can-i --list --as=system:serviceaccount:rbacdemo:dummy-viewer-sa -n rbacdemo

*.* に [*] が出たら、その相手は全部できます。 これだけは見逃さないようにします。

2. cluster-admin を持っている相手を数える

bash
$ kubectl get clusterrolebinding -o custom-columns='NAME:.metadata.name,ROLE:.roleRef.name,SUBJECT:.subjects[*].name' | grep cluster-admin
cluster-admin   cluster-admin   system:masters

1行でした。 これがあるべき状態です。増えていたら、1つずつ「なぜ要るのか」を説明できるかを確かめます。

system:masters グループの持ち主も数えます。 これは RBAC を通らずに全部許可されるので、「RBAC を見ても出てこない全能」です。

bash
$ kubectl get clusterrolebinding -o wide | grep -c ''

数だけ見て、前回より増えていないかを確かめる、という使い方でも十分役に立ちます。

3. privileged なPodと、root で動いているPodを探す

jq を使います。入っていなければ入れます。

bash
$ sudo apt install -y jq

privileged: true のPodを探します。

bash
$ kubectl get pods -A -o json | jq -r '.items[] | select(any(.spec.containers[]; .securityContext.privileged == true)) | "\(.metadata.namespace)/\(.metadata.name)"'

何も出ないのが正解です。 出たら、それが本当に要るのかを1つずつ確かめます。

非rootを指定していないPodを探します。

bash
$ kubectl get pods -A -o json | jq -r '.items[] | select(.spec.securityContext.runAsNonRoot != true) | "\(.metadata.namespace)/\(.metadata.name)"' | head -20

kube-system のものは、たくさん出ます。 クラスタ自身の部品なので、そこは分けて考えます。 見るのは自分が作った namespace です。

NetworkPolicy が1枚も無い namespace も探せます。

bash
$ kubectl get networkpolicy -A
No resources found

「1枚も無い」は「全部繋がっている」ということです。空が安全側ではない設定は、これと ServiceAccount のトークンの2つです。


つまずいたところ

1. kubectl auth whoami が unknown command になった

VM に入れていた kubectl が古かっただけでした。バージョンを確認してから調べればよかったのに、「そんなコマンドは無い」と書いてある古い記事を先に読んで、30分ほど遠回りしました。

bash
$ kubectl version --client

「無い」と言われたら、まずバージョンを見る。 毎回これで済むのに、毎回忘れます。

2. RoleBinding の ServiceAccount 名をタイポしたのに、エラーが出なかった

dummy-viewer-sa を dummy-viewer-as と書いていました。kubectl apply は created と返します。

RBAC の Binding は、存在しない相手に対しても作れます。 「あとから作られる相手」に先回りして権限を書けるようにするための仕様です。便利さと引き換えに、タイポが黙って通ります。

作ったあと必ず can-i を打つ、というのはこれで身につきました。created は「効いている」の証拠になりません。

3. can-i では yes なのに、Podの中では 403 だった

Role を default namespace に作っていました。 -n rbacdemo を付け忘れたのが原因です。そして --as で聞いたときは私が namespace を明示していたので通っていた、という食い違いでした。

-n の付け忘れは、RBAC では黙って別のものを作ります。 これ以降、kubectl config set-context --current --namespace= で先に向き先を固定するようにしました。

4. ClusterRole を使いたくて、ClusterRoleBinding を作ってしまった

「役を使い回したい」だけだったのに、ClusterRoleBinding で結んだので、全 namespace に効いてしまいました。 can-i --list -n default を打って初めて気づきました。

役の範囲(ClusterRole)と、効く範囲(Binding)は別です。使い回したいだけなら、ClusterRole を RoleBinding で結ぶ。 上の表の2行目です。ここを取り違えると、絞ったつもりで一番広く配ることになります。

5. readOnlyRootFilesystem: true で nginx が起動せず、イメージを疑った

kubectl logs に Read-only file system と、書きたかったパスまで出ていました。 それを読まずに「このイメージは対応していないのでは」と別のイメージを探し始めていました。エラーは下から読むを、また守れていません。

6. NetworkPolicy を作ったのに、普通に通った

minikube の既定の CNI が NetworkPolicy に対応していませんでした。 kubectl apply は created と返り、kubectl get networkpolicy にも出ます。何も起きないだけです。

これは、この記事で一番危ないと思ったことです。 「遮断した」と信じている状態が、画面上は正常に見えるからです。作ったら必ず、届かないことを自分で確かめるしかありません。


後片づけ

練習用の namespace を丸ごと消します。

bash
$ kubectl delete namespace rbacdemo

既定の namespace を戻すのを忘れないでください。 消したものを指したままだと、次のコマンドが全部エラーになります。

bash
$ kubectl config set-context --current --namespace=default
bash
$ kubectl get pods

NetworkPolicy 用に立てたクラスタは、プロファイルごと消します。

bash
$ minikube delete -p netpol
Deleting "netpol" in docker ...
Removed all traces of the "netpol" cluster.

残っていないかを確かめます。

bash
$ minikube profile list

作業用のファイルも消します。

bash
$ rm -rf ~/k8s-rbac

メインのクラスタごと止めるなら、これで止まります。

bash
$ minikube stop

まとめ — 理解できたこと

  • 全員が cluster-admin なら、権限設定は無いのと同じ。 can-i の yes に意味が生まれるのは、no が出る相手を作ってから
  • RBAC の登場人物は5つだけ。 Role は namespace の中、ClusterRole はクラスタ全体。 そして効く範囲を決めるのは Binding のほう。使い回したいだけなら ClusterRole を RoleBinding で結ぶ
  • ServiceAccount は権限を持たない。 名前があるだけで、権限は必ず Binding が与える。「作ったのに何もできない」は正常
  • Binding は、存在しない相手にも作れる。 created は効いている証拠にならない。作ったら can-i で確かめるまで1セット
  • Forbidden のメッセージには、足りないものが全部書いてある。 誰・verb・resource・apiGroup・namespace の5つ
  • Pod には既定でトークンが入っている。 APIを叩かないPodは automountServiceAccountToken: false で切る。default の ServiceAccount には権限を付けない
  • コンテナは既定で root。 runAsNonRoot / allowPrivilegeEscalation: false / readOnlyRootFilesystem / capabilities.drop: ["ALL"] を既定にして、壊れた場所だけ開ける。privileged: true は使わない
  • 書き忘れを止めるのは Pod Security Admission。 namespace にラベルを付けるだけで動く。warn から始めて enforce へ。既に動いているPodは止まらない
  • NetworkPolicy は、CNI が対応していないと効かない。 それでも作れてしまい、エラーも出ない。遮断を自分の目で確かめる
  • RBAC と Pod のセキュリティは、別の話。 片方を完璧にしても、もう片方は良くならない

この記事を書く前の私は、「練習用のクラスタだから権限は要らない」と思っていました。 いま思っているのは、権限は「本番で必要になるもの」ではなく、「効いているかどうかを確かめられる状態」そのものだ、ということです。 セキュリティ点検の回で書いた「安全にはできない、被害を小さくする」を、Kubernetes で具体的に置き換えたのが、この記事の中身でした。

そして、1台で足りるなら入れないの回で書いたことが、ここでも効きます。 Kubernetes を入れると、守るべき対象が1つ増えます。 RBAC も PSA も NetworkPolicy も、Kubernetes を入れなければ存在しなかった仕事です。それでも入れるなら、この3つは省略できません。

参考リンク


次に読む

この記事は 【深掘り】Kubernetes の 13 / 15 本目です。

記事
← 前の記事HPAでオートスケール — TARGETSがunknownのまま
→ 次の記事Kubernetesの監視と調べ方 — logsが空なのに落ちている

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

DevOps›Kubernetes — Security
  • ServiceAccount / Role / RoleBinding
  • securityContext / Pod Security / NetworkPolicy

この記事は、上の項目を実際に手を動かして確かめる回です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次