feat: language-aware routing (English -> llama3:8b-instruct; else Qwen 7B/14B). Docs updated

This commit is contained in:
hyungi
2025-08-13 07:45:49 +09:00
parent d17ec57b2e
commit bcb1e543e6
3 changed files with 15 additions and 3 deletions

View File

@@ -123,6 +123,9 @@ TIP: 긴 문서를 다루려면 `num_ctx`(컨텍스트 길이)와 `num_thread`
- **시놀로지 메일/오피스 연동**
- 본문/첨부 텍스트를 `/index/upsert`로 누적(사전 색인)
- 사용자 질의는 `/chat` 호출(`use_rag=true`, 필요 시 `force_boost=true`)
- 자동 라우팅 규칙(기본):
- 영어 비율이 높으면 `ENGLISH_MODEL`(기본 `llama3:8b-instruct`)
- 그 외는 길이/강제 부스팅 기준으로 `BASE_MODEL`(7B) 또는 `BOOST_MODEL`(14B)
## API 개요(요약)
@@ -225,6 +228,7 @@ curl -s -X POST http://localhost:26000/paperless/hook \
- `OLLAMA_HOST`(기본 `http://localhost:11434`): Ollama API 호스트
- `BASE_MODEL`(기본 `qwen2.5:7b-instruct`)
- `BOOST_MODEL`(기본 `qwen2.5:14b-instruct`)
- `ENGLISH_MODEL`(기본 `llama3:8b-instruct`): 영어 감지 시 라우팅 대상
- `EMBEDDING_MODEL`(기본 `nomic-embed-text`)
- `INDEX_PATH`(기본 `data/index.jsonl`)
- `PAPERLESS_BASE_URL`, `PAPERLESS_TOKEN`(선택): Paperless API 연동 시 사용