OpenLIT은 한 줄의 코드로 AI 에이전트, LLM, VectorDB, GPU의 성능을 쉽게 모니터링할 수 있는 오픈소스 도구다.OpenTelemetry 기반의 트레이싱과 메트릭을 제공해 비용, 지연 시간, 상호작용, 작업 순서 같은 중요한 파라미터를 추적할 수 있다. 이를 통해 하이퍼파라미터를 추적하고 성능 문제를 모니터링하며, 시간이 지남에 따라 에이전트를 개선하고 파인튜닝할 방법을 찾을 수 있다.
from crewai import Agent, Task, Crew, Processimport openlitopenlit.init(disable_metrics=True)# 에이전트 정의researcher = Agent( role="Researcher", goal="AI와 AI 에이전트에 대해 철저한 연구와 분석 수행", backstory="기술, 소프트웨어 엔지니어링, AI, 스타트업 전문 연구원. 프리랜서로 활동 중이며 현재 새로운 클라이언트를 위해 연구 중.", allow_delegation=False, llm='command-r')# 태스크 정의task = Task( description="기사 주제로 흥미로운 아이디어 5개를 생성하고, 각 아이디어에 대해 전체 기사의 잠재력을 보여주는 매력적인 단락 작성. 아이디어 목록과 단락, 노트를 반환.", expected_output="5개의 불릿 포인트, 각각 단락과 노트 포함.",)# 매니저 에이전트 정의manager = Agent( role="Project Manager", goal="크루를 효율적으로 관리하고 고품질 태스크 완수 보장", backstory="복잡한 프로젝트를 감독하고 팀을 성공으로 이끄는 경험 많은 프로젝트 매니저. 크루 멤버의 노력을 조율해 각 태스크가 시간 내에 최고 수준으로 완료되도록 한다.", allow_delegation=True, llm='command-r')# 커스텀 매니저로 크루 인스턴스 생성crew = Crew( agents=[researcher], tasks=[task], manager_agent=manager, process=Process.hierarchical,)# 크루 작업 시작result = crew.kickoff()print(result)
에이전트 관측 데이터가 OpenLIT로 수집되고 전송되면, 다음 단계는 이 데이터를 시각화하고 분석해 에이전트의 성능과 동작을 파악하고 개선할 부분을 식별하는 것이다.브라우저에서 127.0.0.1:3000으로 OpenLIT에 접속해 탐색을 시작한다. 기본 자격 증명으로 로그인할 수 있다:
