​
FirecrawlSearchTool

​
설명

Firecrawl은 웹사이트를 크롤링하고 깔끔한 마크다운 또는 구조화된 데이터로 변환하는 플랫폼이다.

​
설치

  1. firecrawl.dev에서 API 키를 발급받고, 환경 변수(FIRECRAWL_API_KEY)에 설정한다.
  2. Firecrawl SDK와 crewai[tools] 패키지를 함께 설치한다:
pip install firecrawl-py 'crewai[tools]'

​
예제

에이전트가 웹사이트를 로드할 수 있도록 FirecrawlSearchTool을 다음과 같이 사용한다: 
from crewai_tools import FirecrawlSearchTool

tool = FirecrawlSearchTool(query='firecrawl이란 무엇인가?')

​
인자

  • api_key: 선택 사항. Firecrawl API 키를 지정한다. 기본값은 FIRECRAWL_API_KEY 환경 변수이다.
  • query: 검색에 사용할 쿼리 문자열이다.
  • page_options: 선택 사항. 결과 포맷팅을 위한 옵션이다.
    • onlyMainContent: 선택 사항. 헤더, 네비게이션, 푸터 등을 제외하고 페이지의 주요 내용만 반환한다.
    • includeHtml: 선택 사항. 페이지의 원시 HTML 내용을 포함한다. 응답에 html 키를 출력한다.
    • fetchPageContent: 선택 사항. 페이지의 전체 내용을 가져온다.
  • search_options: 선택 사항. 크롤링 동작을 제어하기 위한 옵션이다.
    • limit: 선택 사항. 크롤링할 최대 페이지 수이다.