CrewAI Crew를 테스트하고 성능을 평가하는 방법을 알아보세요.
crewai test
CLI 커맨드를 추가했다. 이 커맨드는 지정된 반복 횟수만큼 Crew를 실행하고 상세한 성능 지표를 제공한다. 파라미터로는 n_iterations
와 model
을 사용할 수 있으며, 기본값은 각각 2와 gpt-4o-mini
이다. 현재 사용 가능한 프로바이더는 OpenAI뿐이다.
crewai test
커맨드를 실행하면 지정된 반복 횟수만큼 Crew가 실행되고, 실행이 끝나면 성능 지표가 표시된다.
실행 결과는 테이블로 제공되며, Crew의 성능을 다음과 같은 지표로 확인할 수 있다:
태스크/Crew/에이전트 | 실행 1 | 실행 2 | 평균 총점 | 에이전트 | 추가 정보 |
---|---|---|---|---|---|
태스크 1 | 9.0 | 9.5 | 9.2 | Professional Insights | |
Researcher | |||||
태스크 2 | 9.0 | 10.0 | 9.5 | Company Profile Investigator | |
태스크 3 | 9.0 | 9.0 | 9.0 | Automation Insights | |
Specialist | |||||
태스크 4 | 9.0 | 9.0 | 9.0 | Final Report Compiler | Automation Insights Specialist |
Crew | 9.00 | 9.38 | 9.2 | ||
실행 시간 (초) | 126 | 145 | 135 |