レイテンシとスループット — 台数を増やしたら遅くなった
「遅い」と言われて台数を増やしたら、余計に遅くなりました。増やして直るのはスループットで、私が測っていたのはレイテンシだったからです。1件が終わるまでの時間と、1秒に何件終わるかは、別の量です。この記事では ab で同時接続数を 1 / 10 / 50 / 200 と変えて、スループットが頭打ちになったあともレイテンシだけが伸び続ける点を自分の目で見つけます。次に平均を疑い、同じデータから中央値・p95・p99 を出して、平均が良いのに100人に1人が0.9秒待っている状態を作ります。リトルの法則で実測が式に合うことを確かめ、利用率が80%を超えたところで待ち時間が急に伸びる曲線を測り、最後に「レイテンシを縮める・並列を増やす・仕事を減らす」のどれを選ぶかの判断表と、スケールアップのほうが速いことがある理由までやります。