관측 가능성(Observability)은 대화형 AI 어시스턴트를 개발하고 배포하는 데 있어 중요한 요소다. 개발자는 이를 통해 어시스턴트의 성능, 사용자와의 상호작용, 외부 도구 및 API 활용 방식을 파악할 수 있다. AgentOps는 CrewAI와 독립적인 제품으로, 어시스턴트를 위한 포괄적인 관측 가능성 솔루션을 제공한다.
AgentOps는 개발 및 프로덕션 환경에서 에이전트를 모니터링한다. 에이전트 성능 추적, 세션 재생, 커스텀 리포트 기능을 제공하는 대시보드를 지원한다.또한 AgentOps는 Crew 에이전트 상호작용, LLM 호출, 도구 사용을 실시간으로 확인할 수 있는 세션 드릴다운 기능을 제공한다. 이 기능은 디버깅과 사용자 및 다른 에이전트와의 상호작용 방식을 이해하는 데 유용하다.