소개
테스트는 개발 과정에서 매우 중요한 부분이다. 여러분의 크루가 예상대로 동작하는지 확인하는 것이 필수적이다. crewAI를 사용하면 내장된 테스트 기능을 통해 크루를 쉽게 테스트하고 성능을 평가할 수 있다.테스트 기능 사용하기
Crew를 쉽게 테스트할 수 있도록crewai test CLI 커맨드를 추가했다. 이 커맨드는 지정된 반복 횟수만큼 Crew를 실행하고 상세한 성능 지표를 제공한다. 파라미터로는 n_iterations와 model을 사용할 수 있으며, 기본값은 각각 2와 gpt-4o-mini이다. 현재 사용 가능한 프로바이더는 OpenAI뿐이다.
crewai test 커맨드를 실행하면 지정된 반복 횟수만큼 Crew가 실행되고, 실행이 끝나면 성능 지표가 표시된다.
실행 결과는 테이블로 제공되며, Crew의 성능을 다음과 같은 지표로 확인할 수 있다:
| 태스크/Crew/에이전트 | 실행 1 | 실행 2 | 평균 총점 | 에이전트 | 추가 정보 |
|---|---|---|---|---|---|
| 태스크 1 | 9.0 | 9.5 | 9.2 | Professional Insights | |
| Researcher | |||||
| 태스크 2 | 9.0 | 10.0 | 9.5 | Company Profile Investigator | |
| 태스크 3 | 9.0 | 9.0 | 9.0 | Automation Insights | |
| Specialist | |||||
| 태스크 4 | 9.0 | 9.0 | 9.0 | Final Report Compiler | Automation Insights Specialist |
| Crew | 9.00 | 9.38 | 9.2 | ||
| 실행 시간 (초) | 126 | 145 | 135 |