CrewAI 프로젝트에서 대형 언어 모델(LLMs)을 설정하고 사용하는 종합 가이드
모델 | 컨텍스트 윈도우 | 주요 용도 |
---|---|---|
GPT-4 | 8,192 토큰 | 고정확도 작업, 복잡한 추론 |
GPT-4 Turbo | 128,000 토큰 | 장문 콘텐츠, 문서 분석 |
GPT-4o & GPT-4o-mini | 128,000 토큰 | 비용 효율적인 대용량 컨텍스트 처리 |
o3-mini | 200,000 토큰 | 빠른 추론, 복잡한 추론 |
컨텍스트 윈도우 관리
성능 최적화
토큰 사용 최적화
모범 사례
OpenAI
Anthropic
Azure
AWS Bedrock
Amazon SageMaker
Mistral
Nvidia NIM
Groq
IBM watsonx.ai
Ollama (로컬 LLMs)
ollama run llama2
Fireworks AI
Perplexity AI
Hugging Face
SambaNova
Cerebras
Open Router
response_format
을 정의할 수 있도록 지원한다. 이를 통해 프레임워크가 자동으로 출력을 파싱하고 검증할 수 있어, 응답을 수동으로 후처리하지 않고도 애플리케이션에 쉽게 통합할 수 있다.
예를 들어, 예상되는 응답 구조를 나타내는 Pydantic 모델을 정의하고, LLM을 인스턴스화할 때 response_format
으로 전달할 수 있다. 이 모델은 LLM 출력을 구조화된 파이썬 객체로 변환하는 데 사용된다.