​

소개

관측 가능성(Observability)은 대화형 AI 어시스턴트를 개발하고 배포하는 데 있어 중요한 요소다. 개발자는 이를 통해 어시스턴트의 성능, 사용자와의 상호작용, 외부 도구 및 API 활용 방식을 파악할 수 있다. AgentOps는 CrewAI와 독립적인 제품으로, 어시스턴트를 위한 포괄적인 관측 가능성 솔루션을 제공한다.

​

AgentOps

AgentOps는 에이전트를 위한 세션 재생, 메트릭, 모니터링 기능을 제공한다.

기본적으로 AgentOps를 사용하면 비용, 토큰 사용량, 지연 시간, 에이전트 실패, 세션 전체 통계 등을 모니터링할 수 있다. 더 자세한 정보는 AgentOps Repo를 참고한다.

​

개요

AgentOps는 개발 및 프로덕션 환경에서 에이전트를 모니터링한다. 에이전트 성능 추적, 세션 재생, 커스텀 리포트 기능을 제공하는 대시보드를 지원한다.

또한 AgentOps는 Crew 에이전트 상호작용, LLM 호출, 도구 사용을 실시간으로 확인할 수 있는 세션 드릴다운 기능을 제공한다. 이 기능은 디버깅과 사용자 및 다른 에이전트와의 상호작용 방식을 이해하는 데 유용하다.

​

주요 기능

• LLM 비용 관리 및 추적: 파운데이션 모델 프로바이더의 지출을 추적한다.
• 실행 기록 분석: 에이전트 실행 과정을 단계별로 그래프로 확인한다.
• 재귀적 사고 탐지: 에이전트가 무한 루프에 빠지는 경우를 식별한다.
• 커스텀 리포트: 에이전트 성능에 대한 맞춤형 분석을 생성한다.
• 분석 대시보드: 개발 및 운영 중인 에이전트의 주요 통계를 모니터링한다.
• 공개 모델 테스트: 벤치마크와 리더보드를 통해 에이전트를 테스트한다.
• 커스텀 테스트: 도메인별 테스트를 실행해 에이전트를 평가한다.
• 시간 여행 디버깅: 체크포인트에서 세션을 다시 시작한다.
• 규정 준수 및 보안: 감사 로그를 생성하고, 비속어나 개인정보 유출과 같은 잠재적 위협을 탐지한다.
• 프롬프트 주입 탐지: 코드 주입 및 비밀 유출 가능성을 식별한다.

​

AgentOps 사용하기

AGENTOPS_API_KEY=<YOUR_AGENTOPS_API_KEY>

pip install 'crewai[agentops]'

pip install agentops

import agentops
agentops.init()

​

Crew + AgentOps 예제

​

추가 정보

시작하려면 AgentOps 계정을 생성한다.

기능 요청이나 버그 리포트는 AgentOps Repo에서 AgentOps 팀에 문의한다.

​

추가 링크