How to Guides
AgentOps를 활용한 에이전트 모니터링
AgentOps를 사용해 에이전트 성능을 이해하고 기록하는 방법
소개
관측 가능성(Observability)은 대화형 AI 어시스턴트를 개발하고 배포하는 데 있어 중요한 요소다. 개발자는 이를 통해 어시스턴트의 성능, 사용자와의 상호작용, 외부 도구 및 API 활용 방식을 파악할 수 있다. AgentOps는 CrewAI와 독립적인 제품으로, 어시스턴트를 위한 포괄적인 관측 가능성 솔루션을 제공한다.AgentOps
AgentOps는 에이전트를 위한 세션 재생, 메트릭, 모니터링 기능을 제공한다. 기본적으로 AgentOps를 사용하면 비용, 토큰 사용량, 지연 시간, 에이전트 실패, 세션 전체 통계 등을 모니터링할 수 있다. 더 자세한 정보는 AgentOps Repo를 참고한다.개요
AgentOps는 개발 및 프로덕션 환경에서 에이전트를 모니터링한다. 에이전트 성능 추적, 세션 재생, 커스텀 리포트 기능을 제공하는 대시보드를 지원한다. 또한 AgentOps는 Crew 에이전트 상호작용, LLM 호출, 도구 사용을 실시간으로 확인할 수 있는 세션 드릴다운 기능을 제공한다. 이 기능은 디버깅과 사용자 및 다른 에이전트와의 상호작용 방식을 이해하는 데 유용하다.
주요 기능
- LLM 비용 관리 및 추적: 파운데이션 모델 프로바이더의 지출을 추적한다.
- 실행 기록 분석: 에이전트 실행 과정을 단계별로 그래프로 확인한다.
- 재귀적 사고 탐지: 에이전트가 무한 루프에 빠지는 경우를 식별한다.
- 커스텀 리포트: 에이전트 성능에 대한 맞춤형 분석을 생성한다.
- 분석 대시보드: 개발 및 운영 중인 에이전트의 주요 통계를 모니터링한다.
- 공개 모델 테스트: 벤치마크와 리더보드를 통해 에이전트를 테스트한다.
- 커스텀 테스트: 도메인별 테스트를 실행해 에이전트를 평가한다.
- 시간 여행 디버깅: 체크포인트에서 세션을 다시 시작한다.
- 규정 준수 및 보안: 감사 로그를 생성하고, 비속어나 개인정보 유출과 같은 잠재적 위협을 탐지한다.
- 프롬프트 주입 탐지: 코드 주입 및 비밀 유출 가능성을 식별한다.
AgentOps 사용하기
1
API 키 생성
여기서 사용자 API 키를 생성한다: API 키 생성
2
환경 설정
API 키를 환경 변수에 추가한다:
3
AgentOps 설치
다음 명령어로 AgentOps를 설치한다:또는
4
AgentOps 초기화
스크립트에서 이 코드는 AgentOps 세션을 시작하고 Crew 에이전트를 자동으로 추적한다. 더 복잡한 에이전트 시스템을 구성하는 방법에 대한 자세한 내용은 AgentOps 문서를 참고하거나 Discord에 참여한다.
Crew를 사용하기 전에 다음 코드를 추가한다:Crew + AgentOps 예제
채용 공고
채용 공고를 생성하는 Crew 에이전트 예제
Markdown 검증기
Markdown 파일을 검증하는 Crew 에이전트 예제
Instagram 게시물
Instagram 게시물을 생성하는 Crew 에이전트 예제