소개

테스트는 개발 과정에서 매우 중요한 부분이다. 여러분의 크루가 예상대로 동작하는지 확인하는 것이 필수적이다. crewAI를 사용하면 내장된 테스트 기능을 통해 크루를 쉽게 테스트하고 성능을 평가할 수 있다.

테스트 기능 사용하기

Crew를 쉽게 테스트할 수 있도록 crewai test CLI 커맨드를 추가했다. 이 커맨드는 지정된 반복 횟수만큼 Crew를 실행하고 상세한 성능 지표를 제공한다. 파라미터로는 n_iterationsmodel을 사용할 수 있으며, 기본값은 각각 2와 gpt-4o-mini이다. 현재 사용 가능한 프로바이더는 OpenAI뿐이다.

crewai test

더 많은 반복 횟수를 실행하거나 다른 모델을 사용하려면 다음과 같이 파라미터를 지정한다:

crewai test --n_iterations 5 --model gpt-4o

또는 짧은 형식으로도 사용 가능하다:

crewai test -n 5 -m gpt-4o

crewai test 커맨드를 실행하면 지정된 반복 횟수만큼 Crew가 실행되고, 실행이 끝나면 성능 지표가 표시된다.

실행 결과는 테이블로 제공되며, Crew의 성능을 다음과 같은 지표로 확인할 수 있다:

태스크/Crew/에이전트실행 1실행 2평균 총점에이전트추가 정보
태스크 19.09.59.2Professional Insights
Researcher
태스크 29.010.09.5Company Profile Investigator
태스크 39.09.09.0Automation Insights
Specialist
태스크 49.09.09.0Final Report CompilerAutomation Insights Specialist
Crew9.009.389.2
실행 시간 (초)126145135

위 예제는 두 번의 실행 결과를 보여주며, 각 태스크와 Crew 전체의 평균 점수를 확인할 수 있다.