seon
53ff243183
feat: per-run model selection, usage in diagnosis results and a Claude Messages API provider
...
캠페인마다 진단 모델을 고를 수 있게 한다. 하네스는 runs.model 열을 추가해 POST /runs의
model을 저장하고, 활성 런의 model을 /diagnose 요청에 실어 보낸다. 에이전트는 요청의
model을 우선 사용하고(없으면 OPENAI_MODEL 기본값), 모델 id가 claude-로 시작하면
internal/anthropic(Claude Messages API 어댑터)로 라우팅한다. 어댑터는 Responses API
항목(message/function_call/function_call_output)을 system·tools(input_schema)·tool_use/
tool_result로 변환하고 previous_response_id 체인을 클라이언트 쪽에서 재현하며, Claude 5.5가
강제 tool_choice를 거부하므로 강제 호출은 auto + 지시문으로 바꾼다. 키는
ANTHROPIC_KEY_FILE(/run/secrets/anthropic-api-key)에서 읽고 비어 있으면 명확한 오류를 낸다.
Result에 usage(입력·출력·합계 토큰)를 추가해 하네스 diagnosis 이벤트에 비용 근거를 남긴다.
2026-10-14 23:21:46 +09:00
seon
f8e0aa9122
feat: alert dedupe, proposal state API, HITL mirrors API approvals, Jev recovering reads the alert condition
...
第 4 回キャンペーン（2026-10-08）の 3 つの穴を塞ぐ。
- ハーネス: 同じアラート名が ALERT_DEDUPE_S（既定 300 秒）以内に再着したら
/diagnose を送らず note(dedupe) に記録する。Grafana は Pod ごとに 1 件ずつ
出し 30 秒後にグループを再送するため、1 障害が診断 4 件・提案 4 件になっていた。
全件 resolved になれば窓をリセットする。
- ハーネス: GET /proposals/{token} で承認・実行状態を返す。
- hitl: 60 秒ごとに未決の提案をハーネスへ照会し、API で承認された件は
メッセージを「ハーネス API で承認」に書き換えてタイマーを外す。期限切れ処理の
直前にも同じ照会を行う。
- AI: Jev 選別の now に alert_condition_now / alert_condition_clear /
recovered_now を追加し、recovering は recovered_now を読む。SLO に触れない
障害（replay 停止、メモリ圧迫）で 0.98 を返していた。now の p95 と 5xx 比率に
route フィルタを付け、判定と同じ式にそろえる。
2026-10-09 08:33:41 +09:00
seon
8836b37927
fix(harness): do not hold recovery on layer-1 signature alerts
...
alerts_ok は第 2 層（signature なし）のアラートだけを見る。第 1 層のシグネチャ
アラートはプラットフォームが復旧を担う情報であり、Grafana の解決が 8 分遅れると
MTTR に乗ってしまうため除外する。
2026-10-08 21:27:34 +09:00
seon
cd8fbdddab
feat(harness): hold recovery while a Grafana alert is firing, add legacy:busy host resolution
...
キャンペーン第 2 回のグレーゾーン 3 件を受けた変更。SLO 3 系列に現れない症状
（レプリケーション一時停止、メモリ圧迫）でも、受信中のアラートが解決するまで
recovered を出さないよう、AlertRouter が firing 中のアラートを保持し judge が
alerts_ok を条件に加える。legacy:busy は直近 2 分で最も多くリクエストを受けた
MIG インスタンス（Mimir topk）を指し、run+シナリオ単位でキャッシュして revert が
同じインスタンスに当たるようにする（ILB のハッシュで api の接続が 1 台に偏る）。
2026-10-08 19:20:35 +09:00
seon
de076a79e4
fix(harness): JSON-safe SLO state, unscored AI errors, mark recorded-only proposals executed
2026-09-24 02:22:29 +09:00
seon
5daf13b669
feat: add harness runner (scenario executor, alert receiver, action executor, judge, revert)
2026-09-24 02:06:08 +09:00
seon