feat(ai): external responder for external-* model ids (reference runs)
모델 id가 external- 로 시작하면 ai-agent 가 LLM API 를 부르지 않고 각 턴(시스템 프롬프트·대화 이력·도구 정의·강제 제출 여부)을 GET /external/next 로 내어주고 POST /external/reply 로 답을 받는다. 진단 루프·프롬프트·도구·턴 상한은 다른 모델과 동일하므로, API 경로가 없는 모델(Claude Mythos 5.1 을 Claude Code 서브에이전트가 구동)의 참고 측정에 쓴다. 토큰 사용량은 알 수 없어 0 으로 기록한다. external-* 진단은 EXTERNAL_DIAGNOSE_TIMEOUT_S(기본 1500초), 한 턴은 EXTERNAL_TURN_TIMEOUT_S(기본 1200초)까지 기다리고, 하네스는 같은 모델에 26분을 기다린다. /selfcheck 에 external_responder 상태(대기 턴·마지막 폴링 시각)를 추가.
This commit is contained in:
1 parent
85d99324a1
commit
ed3d41d399
8 files changed
+585
-6
No files matched your search
@@ -45,6 +45,7 @@ type Agent struct {
|
||||
cfg Config
|
||||
oai *openai.Client
|
||||
anth Responder // nil = claude-* models unavailable
|
||||
ext Responder // nil = external-* models unavailable (internal/external: a client outside the VM answers each turn)
|
||||
tools *tools.Runner
|
||||
harness *harness.Client
|
||||
store *rag.Store
|
||||
@@ -74,7 +75,14 @@ func New(cfg Config, oai *openai.Client, tr *tools.Runner, hc *harness.Client, s
|
||||
// SetAnthropic enables claude-* model ids (Claude Messages API adapter).
|
||||
func (a *Agent) SetAnthropic(c Responder) { a.anth = c }
|
||||
|
||||
// provider picks the LLM client for a model id: claude-* -> Anthropic adapter, everything else -> OpenAI.
|
||||
// SetExternal enables external-* model ids (turns served to an outside client over /external/next, reference runs).
|
||||
func (a *Agent) SetExternal(c Responder) { a.ext = c }
|
||||
|
||||
// IsExternal reports whether the model id is served by the external responder (longer deadlines apply).
|
||||
func IsExternal(model string) bool { return strings.HasPrefix(model, "external-") }
|
||||
|
||||
// provider picks the LLM client for a model id: claude-* -> Anthropic adapter, external-* -> external responder,
|
||||
// everything else -> OpenAI.
|
||||
func (a *Agent) provider(model string) (Responder, error) {
|
||||
if strings.HasPrefix(model, "claude-") {
|
||||
if a.anth == nil {
|
||||
@@ -82,6 +90,12 @@ func (a *Agent) provider(model string) (Responder, error) {
|
||||
}
|
||||
return a.anth, nil
|
||||
}
|
||||
if IsExternal(model) {
|
||||
if a.ext == nil {
|
||||
return nil, fmt.Errorf("model %s: external responder not configured", model)
|
||||
}
|
||||
return a.ext, nil
|
||||
}
|
||||
return a.oai, nil
|
||||
}
|
||||
|
||||
|
||||
@@ -127,3 +127,25 @@ func TestDiagnoseRoutesClaudeModel(t *testing.T) {
|
||||
t.Fatalf("usage: %v", res.Usage)
|
||||
}
|
||||
}
|
||||
|
||||
// Model routing: external-* goes to the external responder when one is set, and is refused when none is configured.
|
||||
func TestProviderRouting(t *testing.T) {
|
||||
a := New(Config{}, nil, nil, nil, nil, diag.Enums{}, "v")
|
||||
if _, err := a.provider("external-claude-mythos-5-1"); err == nil || !strings.Contains(err.Error(), "external responder not configured") {
|
||||
t.Fatalf("expected unconfigured error, got %v", err)
|
||||
}
|
||||
fake := &fakeResponder{}
|
||||
a.SetExternal(fake)
|
||||
if p, err := a.provider("external-claude-mythos-5-1"); err != nil || p != Responder(fake) {
|
||||
t.Fatalf("external routing: %v %v", p, err)
|
||||
}
|
||||
if !IsExternal("external-x") || IsExternal("claude-x") || IsExternal("gpt-6-luna") {
|
||||
t.Fatal("IsExternal prefix check")
|
||||
}
|
||||
}
|
||||
|
||||
type fakeResponder struct{}
|
||||
|
||||
func (*fakeResponder) CreateResponse(context.Context, openai.Request) (*openai.Response, error) {
|
||||
return nil, nil
|
||||
}
|
||||
Reference in new issue
Block a user