> ## Documentation Index
> Fetch the complete documentation index at: https://crewai.burt.pe.kr/llms.txt
> Use this file to discover all available pages before exploring further.

# AgentOps를 활용한 에이전트 모니터링

> AgentOps를 사용해 에이전트 성능을 이해하고 기록하는 방법

# 소개

관측 가능성(Observability)은 대화형 AI 어시스턴트를 개발하고 배포하는 데 있어 중요한 요소다. 개발자는 이를 통해 어시스턴트의 성능, 사용자와의 상호작용, 외부 도구 및 API 활용 방식을 파악할 수 있다. AgentOps는 CrewAI와 독립적인 제품으로, 어시스턴트를 위한 포괄적인 관측 가능성 솔루션을 제공한다.

## AgentOps

[AgentOps](https://agentops.ai/?=crew)는 에이전트를 위한 세션 재생, 메트릭, 모니터링 기능을 제공한다.

기본적으로 AgentOps를 사용하면 비용, 토큰 사용량, 지연 시간, 에이전트 실패, 세션 전체 통계 등을 모니터링할 수 있다. 더 자세한 정보는 [AgentOps Repo](https://github.com/AgentOps-AI/agentops)를 참고한다.

### 개요

AgentOps는 개발 및 프로덕션 환경에서 에이전트를 모니터링한다. 에이전트 성능 추적, 세션 재생, 커스텀 리포트 기능을 제공하는 대시보드를 지원한다.

또한 AgentOps는 Crew 에이전트 상호작용, LLM 호출, 도구 사용을 실시간으로 확인할 수 있는 세션 드릴다운 기능을 제공한다. 이 기능은 디버깅과 사용자 및 다른 에이전트와의 상호작용 방식을 이해하는 데 유용하다.

<img src="https://mintcdn.com/burtk/rNQc_sgW_NZiUz5g/images/agentops-overview.png?fit=max&auto=format&n=rNQc_sgW_NZiUz5g&q=85&s=2f62dd9e9d8788e7c380201d90e4a696" alt="에이전트 세션 실행 개요" width="2722" height="1288" data-path="images/agentops-overview.png" />

<img src="https://mintcdn.com/burtk/rNQc_sgW_NZiUz5g/images/agentops-session.png?fit=max&auto=format&n=rNQc_sgW_NZiUz5g&q=85&s=01980ca3def86dae51a0ccdd790d974b" alt="에이전트 실행을 검토하는 세션 드릴다운 개요" width="2300" height="818" data-path="images/agentops-session.png" />

<img src="https://mintcdn.com/burtk/rNQc_sgW_NZiUz5g/images/agentops-replay.png?fit=max&auto=format&n=rNQc_sgW_NZiUz5g&q=85&s=0dbe3d233fd0328b895162d174ba8578" alt="단계별 에이전트 재생 실행 그래프 보기" width="2034" height="1328" data-path="images/agentops-replay.png" />

### 주요 기능

* **LLM 비용 관리 및 추적**: 파운데이션 모델 프로바이더의 지출을 추적한다.
* **실행 기록 분석**: 에이전트 실행 과정을 단계별로 그래프로 확인한다.
* **재귀적 사고 탐지**: 에이전트가 무한 루프에 빠지는 경우를 식별한다.
* **커스텀 리포트**: 에이전트 성능에 대한 맞춤형 분석을 생성한다.
* **분석 대시보드**: 개발 및 운영 중인 에이전트의 주요 통계를 모니터링한다.
* **공개 모델 테스트**: 벤치마크와 리더보드를 통해 에이전트를 테스트한다.
* **커스텀 테스트**: 도메인별 테스트를 실행해 에이전트를 평가한다.
* **시간 여행 디버깅**: 체크포인트에서 세션을 다시 시작한다.
* **규정 준수 및 보안**: 감사 로그를 생성하고, 비속어나 개인정보 유출과 같은 잠재적 위협을 탐지한다.
* **프롬프트 주입 탐지**: 코드 주입 및 비밀 유출 가능성을 식별한다.

### AgentOps 사용하기

<Steps>
  <Step title="API 키 생성">
    여기서 사용자 API 키를 생성한다: [API 키 생성](https://app.agentops.ai/account)
  </Step>

  <Step title="환경 설정">
    API 키를 환경 변수에 추가한다:

    ```bash theme={null}
    AGENTOPS_API_KEY=<YOUR_AGENTOPS_API_KEY>
    ```
  </Step>

  <Step title="AgentOps 설치">
    다음 명령어로 AgentOps를 설치한다:

    ```bash theme={null}
    pip install 'crewai[agentops]'
    ```

    또는

    ```bash theme={null}
    pip install agentops
    ```
  </Step>

  <Step title="AgentOps 초기화">
    스크립트에서 `Crew`를 사용하기 전에 다음 코드를 추가한다:

    ```python theme={null}
    import agentops
    agentops.init()
    ```

    이 코드는 AgentOps 세션을 시작하고 Crew 에이전트를 자동으로 추적한다. 더 복잡한 에이전트 시스템을 구성하는 방법에 대한 자세한 내용은 [AgentOps 문서](https://docs.agentops.ai)를 참고하거나 [Discord](https://discord.gg/j4f3KbeH)에 참여한다.
  </Step>
</Steps>

### Crew + AgentOps 예제

<CardGroup cols={3}>
  <Card title="채용 공고" color="#F3A78B" href="https://github.com/joaomdmoura/crewAI-examples/tree/main/job-posting" icon="briefcase" iconType="solid">
    채용 공고를 생성하는 Crew 에이전트 예제
  </Card>

  <Card title="Markdown 검증기" color="#F3A78B" href="https://github.com/joaomdmoura/crewAI-examples/tree/main/markdown_validator" icon="markdown" iconType="solid">
    Markdown 파일을 검증하는 Crew 에이전트 예제
  </Card>

  <Card title="Instagram 게시물" color="#F3A78B" href="https://github.com/joaomdmoura/crewAI-examples/tree/main/instagram_post" icon="square-instagram" iconType="brands">
    Instagram 게시물을 생성하는 Crew 에이전트 예제
  </Card>
</CardGroup>

### 추가 정보

시작하려면 [AgentOps 계정](https://agentops.ai/?=crew)을 생성한다.

기능 요청이나 버그 리포트는 [AgentOps Repo](https://github.com/AgentOps-AI/agentops)에서 AgentOps 팀에 문의한다.

#### 추가 링크

<a href="https://twitter.com/agentopsai/">🐦 Twitter</a>
<span>  •  </span>
<a href="https://discord.gg/JHPt4C7r">📢 Discord</a>
<span>  •  </span>
<a href="https://app.agentops.ai/?=crew">🖇️ AgentOps 대시보드</a>
<span>  •  </span>
<a href="https://docs.agentops.ai/introduction">📙 문서</a>