Core Concepts
테스트
CrewAI Crew를 테스트하고 성능을 평가하는 방법을 알아보세요.
소개
테스트는 개발 과정에서 매우 중요한 부분이다. 여러분의 크루가 예상대로 동작하는지 확인하는 것이 필수적이다. crewAI를 사용하면 내장된 테스트 기능을 통해 크루를 쉽게 테스트하고 성능을 평가할 수 있다.
테스트 기능 사용하기
Crew를 쉽게 테스트할 수 있도록 crewai test
CLI 커맨드를 추가했다. 이 커맨드는 지정된 반복 횟수만큼 Crew를 실행하고 상세한 성능 지표를 제공한다. 파라미터로는 n_iterations
와 model
을 사용할 수 있으며, 기본값은 각각 2와 gpt-4o-mini
이다. 현재 사용 가능한 프로바이더는 OpenAI뿐이다.
더 많은 반복 횟수를 실행하거나 다른 모델을 사용하려면 다음과 같이 파라미터를 지정한다:
또는 짧은 형식으로도 사용 가능하다:
crewai test
커맨드를 실행하면 지정된 반복 횟수만큼 Crew가 실행되고, 실행이 끝나면 성능 지표가 표시된다.
실행 결과는 테이블로 제공되며, Crew의 성능을 다음과 같은 지표로 확인할 수 있다:
태스크/Crew/에이전트 | 실행 1 | 실행 2 | 평균 총점 | 에이전트 | 추가 정보 |
---|---|---|---|---|---|
태스크 1 | 9.0 | 9.5 | 9.2 | Professional Insights | |
Researcher | |||||
태스크 2 | 9.0 | 10.0 | 9.5 | Company Profile Investigator | |
태스크 3 | 9.0 | 9.0 | 9.0 | Automation Insights | |
Specialist | |||||
태스크 4 | 9.0 | 9.0 | 9.0 | Final Report Compiler | Automation Insights Specialist |
Crew | 9.00 | 9.38 | 9.2 | ||
실행 시간 (초) | 126 | 145 | 135 |
위 예제는 두 번의 실행 결과를 보여주며, 각 태스크와 Crew 전체의 평균 점수를 확인할 수 있다.