실험 설계서 6장(WP-12)의 AI VM 2층 구현.
- cmd/agent: 하네스 /diagnose 수신 → OpenAI Responses API 함수 호출 루프(읽기 전용 도구 7종:
query_metrics, query_logs, get_probe_status, get_k8s, get_gcp_instances, get_aws_state,
search_runbooks) → strict 스키마 submit_diagnosis(6.3) → 하네스 /proposals 등록 + HITL 게시,
또는 신뢰도 0.5 미만·escalate 시 3층 큐 에스컬레이션. 세션·프롬프트 버전·러너북 벡터는
pgvector(ai 스키마)에 저장. 라벨·조치 enum은 하네스 /scenarios·/actions/catalog에서 갱신.
- cmd/hitl: Discord Gateway 봇(intents GUILDS만). 승인/거부 버튼(custom_id approve:/reject:<token>),
3초 내 DEFERRED_UPDATE_MESSAGE, 승인 시 하네스 승인 → /actions/execute → 원 메시지 편집,
15분 무응답 시 에스컬레이션 채널로 이동. 재기동 시 미결 제안 타이머 복원.
- harness: POST /proposals/{token}/approve, /reject 추가. 제안은 진단 시점에 등록하고 승인은
버튼 시점에 기록해 MTTA(승인-제안)가 실제 대기 시간이 되도록 함.
OpenAI·Discord 토큰은 Secret Manager 파일로만 읽고 코드·저장소에 두지 않는다.
84 lines
3.6 KiB
Go
84 lines
3.6 KiB
Go
package agent
|
|
|
|
import (
|
|
"context"
|
|
"encoding/json"
|
|
"net/http"
|
|
"net/http/httptest"
|
|
"strings"
|
|
"testing"
|
|
|
|
"github.com/selfheal-lab/selfheal-lab-apps/ai/internal/diag"
|
|
"github.com/selfheal-lab/selfheal-lab-apps/ai/internal/harness"
|
|
"github.com/selfheal-lab/selfheal-lab-apps/ai/internal/openai"
|
|
"github.com/selfheal-lab/selfheal-lab-apps/ai/internal/tools"
|
|
)
|
|
|
|
// A mock Responses API: turn 1 asks for get_probe_status, turn 2 submits the diagnosis. Verifies the loop wiring
|
|
// (function_call_output with the call_id, previous_response_id chaining, strict submit parsing).
|
|
func TestDiagnoseLoop(t *testing.T) {
|
|
var turns int
|
|
var sawOutput, sawPrev bool
|
|
oaiSrv := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
|
if r.URL.Path == "/embeddings" {
|
|
w.Write([]byte(`{"data":[{"index":0,"embedding":[0.1,0.2]}]}`))
|
|
return
|
|
}
|
|
var req openai.Request
|
|
_ = json.NewDecoder(r.Body).Decode(&req)
|
|
turns++
|
|
for _, it := range req.Input {
|
|
if it.Type == "function_call_output" && it.CallID == "call_1" && strings.Contains(it.Output, "probe_success") {
|
|
sawOutput = true
|
|
}
|
|
}
|
|
if req.PreviousResponseID == "resp_1" {
|
|
sawPrev = true
|
|
}
|
|
if r.Header.Get("Authorization") != "Bearer test-key" {
|
|
t.Errorf("missing bearer")
|
|
}
|
|
switch turns {
|
|
case 1:
|
|
w.Write([]byte(`{"id":"resp_1","status":"completed","output":[{"type":"function_call","call_id":"call_1","name":"get_probe_status","arguments":"{}"}],"usage":{"input_tokens":10,"output_tokens":5}}`))
|
|
default:
|
|
args := `{\"root_cause_label\":\"db_primary_down\",\"confidence\":0.8,\"evidence\":[\"probe_success db-primary=0\"],\"proposed_action\":\"escalate\",\"target\":\"db-primary\",\"rationale\":\"primary unreachable\"}`
|
|
w.Write([]byte(`{"id":"resp_2","status":"completed","output":[{"type":"function_call","call_id":"call_2","name":"submit_diagnosis","arguments":"` + args + `"}],"usage":{"input_tokens":20,"output_tokens":9}}`))
|
|
}
|
|
}))
|
|
defer oaiSrv.Close()
|
|
mimir := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
|
if strings.HasSuffix(r.URL.Path, "/api/v1/query") {
|
|
w.Write([]byte(`{"status":"success","data":{"resultType":"vector","result":[{"metric":{"target":"db-primary"},"value":[1,"0"]},{"metric":{"target":"alb"},"value":[1,"1"]}]}}`))
|
|
return
|
|
}
|
|
w.Write([]byte(`{"status":"success","data":{"resultType":"matrix","result":[]}}`))
|
|
}))
|
|
defer mimir.Close()
|
|
oai := openai.New(oaiSrv.URL, func() (string, error) { return "test-key", nil })
|
|
tr := tools.New(tools.Config{MimirURL: mimir.URL, LokiURL: mimir.URL, EmbedModel: "e"}, nil, oai)
|
|
enums := diag.Enums{Labels: diag.DefaultLabels, Actions: diag.DefaultActions}
|
|
ag := New(Config{Model: "m", SystemPrompt: "sys", Topology: "topo", SLO: "slo", HitlURL: "http://127.0.0.1:1", MaxTurns: 5}, oai, tr, harness.New("http://127.0.0.1:1"), nil, enums, "pv1")
|
|
res, err := ag.Diagnose(context.Background(), Request{Alert: map[string]any{"alertname": "DbPrimaryDown"}})
|
|
if err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
if res.RootCauseLabel != "db_primary_down" || res.Turns != 2 || !sawOutput || !sawPrev {
|
|
t.Fatalf("unexpected result: %+v sawOutput=%v sawPrev=%v", res, sawOutput, sawPrev)
|
|
}
|
|
ag.Dispose(context.Background(), Request{Alert: map[string]any{}}, res)
|
|
if res.Disposition != "escalated" {
|
|
t.Fatalf("escalate action must escalate, got %s", res.Disposition)
|
|
}
|
|
}
|
|
|
|
func TestTargetFor(t *testing.T) {
|
|
m := targetFor("k8s.rollout_restart", "demo/api")
|
|
if m["namespace"] != "demo" || m["deployment"] != "api" {
|
|
t.Fatalf("%v", m)
|
|
}
|
|
if targetFor("mig.resize", "")["mig"] != "selfheal-legacy-mig" {
|
|
t.Fatal("mig")
|
|
}
|
|
}
|