3794afff95
GPU 서버 중앙 AI 라우팅 서비스 초기 구현: - OpenAI 호환 API (/v1/chat/completions, /v1/models, /v1/embeddings) - 모델 레지스트리 + 백엔드 헬스체크 (30초 루프) - Ollama SSE 프록시 (NDJSON → OpenAI SSE 변환) - JWT 인증 이중 경로 (httpOnly 쿠키 + Bearer 토큰) - owner/guest 역할 분리, 로그인 rate limiting - 백엔드별 rate limiting (NanoClaude 대비) - SQLite 스키마 사전 정의 (aiosqlite + WAL) - Docker Compose + Caddy 리버스 프록시 Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
19 lines
564 B
Python
19 lines
564 B
Python
from fastapi import HTTPException
|
|
|
|
from services.registry import registry
|
|
|
|
|
|
def check_backend_rate_limit(backend_id: str):
|
|
"""Raise 429 if rate limit exceeded for this backend."""
|
|
if not registry.check_rate_limit(backend_id):
|
|
raise HTTPException(
|
|
status_code=429,
|
|
detail={
|
|
"error": {
|
|
"message": f"Rate limit exceeded for backend '{backend_id}'",
|
|
"type": "rate_limit_error",
|
|
"code": "rate_limit_exceeded",
|
|
}
|
|
},
|
|
)
|