​

Langtrace 개요

Langtrace는 대규모 언어 모델(LLM), LLM 프레임워크, 벡터 데이터베이스에 대한 관측 가능성과 평가를 설정하는 데 도움을 주는 오픈소스 외부 도구다. CrewAI에 직접 내장되지는 않았지만, Langtrace를 CrewAI와 함께 사용하면 CrewAI 에이전트의 비용, 지연 시간, 성능에 대한 심층적인 가시성을 얻을 수 있다. 이 통합을 통해 하이퍼파라미터를 기록하고, 성능 저하를 모니터링하며, 에이전트를 지속적으로 개선하는 프로세스를 구축할 수 있다.

​

설정 안내

pip install langtrace-python-sdk

from langtrace_python_sdk import langtrace
langtrace.init(api_key='<LANGTRACE_API_KEY>')

# 이제 CrewAI 모듈을 임포트
from crewai import Agent, Task, Crew

​

CrewAI에 적용 가능한 주요 기능

1. LLM 토큰 및 비용 추적

   • 각 CrewAI 에이전트 상호작용에서 사용된 토큰 양과 관련 비용을 모니터링한다.

2. 실행 단계 추적 그래프

   • CrewAI 작업의 실행 흐름을 시각화하며, 지연 시간과 로그를 포함한다.
   • 에이전트 워크플로에서 병목 현상을 식별하는 데 유용하다.

3. 수동 주석을 통한 데이터셋 구성

   • CrewAI 작업 출력에서 데이터셋을 생성하여 향후 학습 또는 평가에 활용한다.

4. 프롬프트 버전 관리

   • CrewAI 에이전트에서 사용된 다양한 버전의 프롬프트를 추적한다.
   • A/B 테스트 및 에이전트 성능 최적화에 유용하다.

5. 모델 비교를 지원하는 프롬프트 플레이그라운드

   • 배포 전에 CrewAI 에이전트를 위한 다양한 프롬프트와 모델을 테스트하고 비교한다.

6. 테스트 및 평가

   • CrewAI 에이전트와 작업을 위한 자동화된 테스트를 설정한다.