Skip to main content

MLflow 개요

MLflow는 머신러닝 실무자와 팀이 머신러닝 프로세스의 복잡성을 관리하는 데 도움을 주기 위한 오픈소스 플랫폼이다. MLflow는 생성형 AI 애플리케이션에서 LLM(대형 언어 모델)의 관측 가능성을 향상시키는 트레이싱 기능을 제공한다. 이 기능은 애플리케이션 서비스의 실행에 대한 상세한 정보를 캡처한다. 트레이싱은 요청의 각 중간 단계와 관련된 입력, 출력, 메타데이터를 기록하는 방법을 제공하여 버그와 예상치 못한 동작의 원인을 쉽게 찾을 수 있게 한다. MLflow crewAI 트레이싱 사용 개요

주요 기능

  • 트레이싱 대시보드: crewAI 에이전트의 활동을 상세히 모니터링한다. 입력, 출력, 그리고 스팬의 메타데이터를 포함한 대시보드를 제공한다.
  • 자동화된 트레이싱: mlflow.crewai.autolog()를 실행하면 crewAI와 완전히 자동으로 통합된다.
  • 간편한 수동 트레이스 도구화: 데코레이터, 함수 래퍼, 컨텍스트 매니저와 같은 MLflow의 고수준 API를 통해 트레이스 도구화를 커스터마이징할 수 있다.
  • OpenTelemetry 호환성: MLflow 트레이싱은 OpenTelemetry Collector로 트레이스를 내보내는 기능을 지원한다. 이를 통해 Jaeger, Zipkin, AWS X-Ray 등 다양한 백엔드로 트레이스를 내보낼 수 있다.
  • 에이전트 패키징 및 배포: 다양한 배포 대상에 crewAI 에이전트를 패키징하고 추론 서버에 배포할 수 있다.
  • 안전한 LLM 호스팅: MLflow 게이트웨이를 통해 여러 프로바이더의 LLM을 하나의 통합 엔드포인트에서 호스팅할 수 있다.
  • 평가: mlflow.evaluate() API를 사용해 다양한 메트릭으로 crewAI 에이전트를 평가할 수 있다.

설정 안내

1

MLflow 패키지 설치

2

MLflow 트래킹 서버 시작

3

애플리케이션에서 MLflow 초기화

애플리케이션 코드에 다음 두 줄을 추가한다:
CrewAI 에이전트 트레이싱 예제:
더 많은 설정과 사용 사례는 MLflow 트레이싱 문서를 참고한다.
4

에이전트 활동 시각화

이제 crewAI 에이전트의 트레이스가 MLflow에 캡처된다. MLflow 트래킹 서버를 방문해 트레이스를 확인하고 에이전트에 대한 통찰력을 얻는다.브라우저에서 127.0.0.1:5000을 열어 MLflow 트래킹 서버에 접속한다.
MLflow tracing example with crewai

MLflow 트레이싱 대시보드