LiteLLM을 사용하여 CrewAI와 다양한 대규모 언어 모델(LLM)을 통합하는 방법을 다룬 포괄적인 가이드. 지원되는 프로바이더와 설정 옵션을 포함한다.
gpt-4o-mini
모델을 사용한다. 이는 OPENAI_MODEL_NAME
환경 변수에 의해 결정되며, 설정되지 않은 경우 기본값은 “gpt-4o-mini”이다.
이 가이드에서 설명하는 대로 에이전트가 다른 모델이나 프로바이더를 사용하도록 쉽게 설정할 수 있다.파라미터 | 타입 | 설명 |
---|---|---|
model | str | 사용할 모델 이름 (예: “gpt-4”, “claude-2”) |
temperature | float | 출력의 무작위성을 조절 (0.0에서 1.0 사이) |
max_tokens | int | 생성할 최대 토큰 수 |
top_p | float | 출력의 다양성을 조절 (0.0에서 1.0 사이) |
frequency_penalty | float | 지금까지 텍스트에서 토큰의 빈도에 따라 새로운 토큰에 패널티를 부여 |
presence_penalty | float | 지금까지 텍스트에서 토큰의 존재 여부에 따라 새로운 토큰에 패널티를 부여 |
stop | str , List[str] | 생성을 멈출 시퀀스 |
base_url | str | API 엔드포인트의 기본 URL |
api_key | str | 인증을 위한 API 키 |
Ollama 다운로드 및 설치
원하는 모델 가져오기
ollama pull llama3.2
명령어를 실행해 모델을 다운로드한다.에이전트 설정
base_url
파라미터를 설정한다: