feat: EXAONE 분류기 — direct/route/clarify 라우팅 + 대화 기억
- EXAONE: 분류기+프롬프트엔지니어+직접응답 (JSON 출력) - 간단한 질문은 EXAONE이 직접 답변 (파이프라인 스킵) - 복잡한 질문은 AI 최적화 프롬프트로 Gemma에 전달 - 모호한 질문은 사용자에게 추가 질문 (clarify) - user별 최근 대화 기억 (최대 10개, 1시간 TTL) - ModelAdapter: messages 직접 전달 옵션 추가 Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -31,14 +31,16 @@ class ModelAdapter:
|
||||
self.temperature = temperature
|
||||
self.timeout = timeout
|
||||
|
||||
async def stream_chat(self, message: str) -> AsyncGenerator[str, None]:
|
||||
"""스트리밍 호출. content chunk를 yield."""
|
||||
payload = {
|
||||
"model": self.model,
|
||||
"messages": [
|
||||
async def stream_chat(self, message: str, *, messages: list[dict] | None = None) -> AsyncGenerator[str, None]:
|
||||
"""스트리밍 호출. content chunk를 yield. messages 직접 전달 가능."""
|
||||
if messages is None:
|
||||
messages = [
|
||||
{"role": "system", "content": self.system_prompt},
|
||||
{"role": "user", "content": message},
|
||||
],
|
||||
]
|
||||
payload = {
|
||||
"model": self.model,
|
||||
"messages": messages,
|
||||
"stream": True,
|
||||
"temperature": self.temperature,
|
||||
}
|
||||
@@ -78,14 +80,16 @@ class ModelAdapter:
|
||||
logger.error("%s read timeout", self.name)
|
||||
raise
|
||||
|
||||
async def complete_chat(self, message: str) -> str:
|
||||
"""비스트리밍 호출. 전체 응답 텍스트 반환."""
|
||||
payload = {
|
||||
"model": self.model,
|
||||
"messages": [
|
||||
async def complete_chat(self, message: str, *, messages: list[dict] | None = None) -> str:
|
||||
"""비스트리밍 호출. 전체 응답 텍스트 반환. messages 직접 전달 가능."""
|
||||
if messages is None:
|
||||
messages = [
|
||||
{"role": "system", "content": self.system_prompt},
|
||||
{"role": "user", "content": message},
|
||||
],
|
||||
]
|
||||
payload = {
|
||||
"model": self.model,
|
||||
"messages": messages,
|
||||
"stream": False,
|
||||
"temperature": self.temperature,
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user