모델 라우팅
라우팅을 사용하면 기본 채팅은 기본값을 유지하면서 작업 종류별로 다른 LLM 계정이나 모델을 사용할 수 있습니다.
라우팅의 의미
Assistela는 일반 채팅 답변에만 LLM을 호출하지 않습니다. 오래된 대화 요약, 메모리 검토, 개인 비서 실행, 도구 사용 계획, 코드 작업과 진단에도 모델을 사용합니다. 라우팅을 사용하면 각 용도에 다른 계정이나 모델을 지정할 수 있습니다.
기본적으로 모든 용도는 기본값이며 기본 AI 계정과 모델을 상속합니다. 구분할 명확한 이유가 생길 때까지 이 설정을 권장합니다.
사용 가능한 용도
- 채팅: 일반 답변과 기본 대화.
- 요약: 맥락이 커질 때 오래된 기록 압축.
- 대화 검색: 이전 메시지와 세션 찾기.
- 메모리 검토: 장기 메모리 평가 및 업데이트.
- 개인 비서: 주기적인 능동 확인.
- 성찰: 결과와 후속 단계 평가.
- 작업 계획: 사용할 도구와 순서 결정.
- 코딩: 프로그래밍 중심 작업.
- 진단: 모델 확인과 운영 분석.
글을 잘 쓰는 모델도 도구 호출은 제대로 하지 못할 수 있습니다. 개인 비서, 작업 계획, 메모리, 코딩과 진단에는 tool calling이 신뢰할 수 있는 모델을 사용하세요.
사용자 지정 경로 설정
두 계정 준비
먼저 설정 → AI 계정에서 각 계정을 추가하고 독립적으로 테스트합니다.
라우팅 열기
Assistela → 설정 → 고급 → 모델 라우팅을 선택합니다.
용도 선택
필요한 행에서 기본값을 사용자 지정으로 바꿉니다.
연결, 계정과 모델 선택
연결 유형, AI 계정과 정확한 모델을 선택합니다. 모델이 없다면 제공업체의 정확한 식별자를 알고 있을 때만 사용자 지정 모델 ID를 사용하세요.
해당 기능을 정확히 테스트
채팅 경로는 메시지로, 개인 비서 경로는 지금 실행으로, 요약 경로는 긴 테스트 대화 또는 진단으로 확인합니다.
합리적인 전략
- 단순함: 모두 기본값으로 둡니다. 오류 지점이 가장 적습니다.
- 비용 절감: 요약과 대화 검색에는 빠르고 저렴한 모델을, 채팅과 작업 계획에는 더 강한 모델을 사용합니다.
- 전문화: 코딩 모델은 코딩 경로에서만 사용합니다.
- 별도 개인 비서: 자체 비용 예산을 둔 신뢰할 수 있는 tool-calling 모델을 사용합니다.
사용자 지정 경로마다 의존성이 하나씩 늘어납니다. 계정 크레딧이 소진되거나 API 키가 만료되거나 제공업체가 모델 이름을 바꾸면 Assistela의 일부만 실패할 수 있습니다. 관련된 모든 제공업체의 사용량을 확인하세요.
기본값으로 돌아가기
해당 용도를 다시 기본값으로 설정합니다. 기본 AI 계정과 모델을 다시 상속합니다. 문제가 사라지면 원인은 특정 계정, 모델 또는 도구 사용 능력이었습니다.