seon
3f686c1aea
第 3 回キャンペーンの実測を反映する。V-G1 では ILB が 1 分以内に api の接続を 遅いインスタンスから逃がすため 5 分窓の p95 が 0.5 秒を越えず、ApiLatencyHigh が 発火しなかった（1 分窓の p95 は 3 分半 2.3 秒）。式を 1 分窓にし 2 分継続に変える。 C-G2 は 200MB で working set が limit の 0.797〜0.803 を行き来して閾値 0.8 を 保てなかったため 225MB にし、ApiMemoryPressure の継続を 1 分にする。
5 lines
1.5 KiB
Markdown
5 lines
1.5 KiB
Markdown
可用性: キャンペーン期間を通じて avg_over_time(probe_success[5m]) >= 99.5%。レイテンシ: api の p95（histogram_quantile(0.95, sum by (le) (rate(demo_http_request_duration_seconds_bucket[5m]))))が 0.5 秒未満。エラー率: 5 分間の 5xx / 全リクエストが 1% 未満。
|
||
復旧（t_recover）は、プローブが 12 回連続（3 分）で成功し、かつ 5 分窓のレイテンシとエラー率が SLO の内側に戻ったときにハーネスが宣言する。
|
||
層: 1 = プラットフォーム内部の自動復旧（kubelet の再起動、ReplicaSet、Argo CD selfHeal、MIG autohealing、compose の restart）。2 = あなたの提案 + Discord での人の承認、実行はハーネス。3 = 人だけが行う（不可逆な操作、15 分以内に承認がない場合、確信度 0.5 未満）。
|
||
アラートルールと意味: ProbeDown（probe_success == 0 が 1 分、症状のみ）、ApiLatencyHigh（直近 1 分の p95 > 500 ms が 2 分）、ApiErrorRateHigh（5xx > 1% が 3 分）、PodCrashLooping（5 分で 3 回以上の再起動。まず層 1、5 分後に層 2）、LegacyUnhealthy（up な legacy-api インスタンスが 2 未満。まず autohealing、10 分後に層 2）、DbReplicationLag（遅延 > 60 秒、または replay が一時停止）、ApiMemoryPressure（api コンテナのメモリが limit の 80% 超を 1 分継続。グレーゾーン、承認後に rollout restart）、DbPrimaryDown（TCP 5432 の失敗が 1 分）、GitOpsDrift（OutOfSync が 5 分。selfHeal が処理する）。
|