フェイルオーバー– tag –
-
AWS 深掘り
Route 53とDNSのTTL — 切り替えたのに古いサーバーへ行く
サーバーを新しい台に移して、DNSのAレコードを新しいIPに書き換えました。それなのに、アクセスログは古い台に来続けました。原因は設定ミスではなく、TTLでした。この記事では LocalStack で Route 53 のホストゾーンを実際に作り、レコードを足して dig で引き、TTLがカウントダウンする様子を目で見ます。そのうえで Route 53 固有のもの — エイリアスレコード・7つのルーティングポリシー・ヘルスチェックとフェイルオーバー — を手を動かして確かめます。AWSアカウントは作りません。最後に docker compose down -v で全部消します。 -
AWS 深掘り
RDSとElastiCacheの仕組み — フェイルオーバーで接続が切れる
MySQL と Redis は自分で立てられるのに、なぜ RDS と ElastiCache があるのか。「マネージドにすれば運用が要らなくなる」と思っていたのが間違いで、実際には運用の種類が変わるだけでした。この記事では、AWS が肩代わりする仕事と自分に残る仕事を1枚の表に分け、create-db-instance の全パラメータの意味を読めるようにします。そのうえで「マルチAZにしたのに読み取りが速くならない」「切り替わった瞬間に接続が全部切れる」という2つの誤解を、手元の Docker MySQL で実際に再現して直します。最後に、自分で立てるのと RDS のどちらを選ぶかを判断表にします。 -
システム設計 深掘り
レプリケーションとシャーディング — 書き込みは速くならない
書き込みが詰まったのでレプリカを2台足したのに、書き込みは1ミリ秒も速くなりませんでした。レプリケーションが分散するのは「読み」だけで、「書き」は primary 1台に集まったままだからです。この記事では MySQL を Docker Compose で primary 1台 + replica 2台立てて実際にレプリケーションを組み、読みを振り分けたときに primary の CPU がどう下がるかを docker stats で測ります。次にわざと遅延を作り、遅れたレプリカを読むと古い値が返ることを再現します。primary を停めてレプリカを昇格させ、昇格が自動ではないこと、古い primary を戻すと二重書き込みになることも手で確かめます。後半はシャーディングで、範囲・ハッシュ・一貫性ハッシュの3つの分け方を Node のスクリプトで実際に計算し、台数を1台増やしたときに何%のデータが引っ越すかを数えます。最後に2台に分けた MySQL で JOIN・トランザクション・採番が壊れるところまで再現して、全部消します。 -
システム設計 深掘り
指数バックオフとバルクヘッド — リトライが障害を長引かせる
落ちかけている相手に素朴なリトライを投げると、負荷が3倍になって復旧を邪魔する。この記事では Node.js で「呼ぶ側」と「呼ばれる側」を自分で書き、わざと壊して、到達回数を数えます。素朴なリトライ・指数バックオフ・ジッタの3つを実測で比べ、バックオフだけでは再送の波が揃ってしまうことを確かめます。さらに、遅い相手が全体のコネクションを食い潰す様子をバルクヘッド(同時実行数の隔離)で止め、nginx の upstream で primary を1台落として backup へ切り替わるところを見ます。最後に、全部止めずに古いデータを返す「縮退」を実装し、どの型をいつ入れるかの優先順位で締めます。作業は VM の中の ~/rellab で行い、終わったら全部消します。 -
データベース
書いた直後に読むと無い — レプリケーションとCAP
アプリは2つに増やしたのに、データベースは1台のままでした。そこが落ちたら全部止まります。この回では Docker Compose で MySQL を2台立て、実際にレプリケーションを組んで、書き込み側に入れたデータが読み取り側に出てくるところを見ます。そのうえで「書いた直後に読むと、まだ無い」を意図的に起こし、NoSQLの回で出た結果整合性が MySQL でも起きることを確かめます。最後にコンテナのネットワークを切って、古いデータを返すかエラーを返すかの二択しかないこと(CAP定理)を実験で確認し、シャーディングとフェイルオーバーには手を出さない理由まで書きます。
1