ランブック 11 本と prompts/topology.md・slo.md を日本語で書き直し、 system.md に「根拠と判断理由は日本語で書く」指示を追加した。 Discord ボットの文言も HITL_LANG=ja で日本語になる。 識別子(action id、ラベル、メトリクス名、オブジェクト名)は英語のまま。
1.1 KiB
1.1 KiB
db_primary_down: プライマリに到達できない(層 3)
症状: probe_success{target="db-primary"} = 0、/api/orders と /api/price で api が 5xx、legacy-api のログに 10.20.0.20:5432 への connection refused か timeout が出ます。
人が判断する手順は次の順です。1) VM は RUNNING で PostgreSQL だけが落ちていますか。その場合はプライマリで PostgreSQL を再起動します(service restart。クラッシュは層 1 の systemd が拾います)。2) VM が停止しているか失われていますか。その場合は gce.instance_reset か、Terraform で作り直します。3) プライマリがどうしても戻らない場合に限り、レプリカを昇格します(selfheal-db-replica で SELECT pg_promote())。あわせてアプリケーションの DSN を 10.20.0.21 に切り替えます。これは不可逆です(タイムラインが分岐します)。旧プライマリは再クローンが必要です。エージェントは必ずエスカレーションし、昇格を提案してはいけません。