FirecrawlSearchTool
설명
Firecrawl은 웹사이트를 크롤링하고 깔끔한 마크다운 또는 구조화된 데이터로 변환하는 플랫폼이다.설치
- firecrawl.dev에서 API 키를 발급받고, 환경 변수(
FIRECRAWL_API_KEY)에 설정한다. - Firecrawl SDK와
crewai[tools]패키지를 함께 설치한다:
예제
에이전트가 웹사이트를 로드할 수 있도록 FirecrawlSearchTool을 다음과 같이 사용한다:인자
api_key: 선택 사항. Firecrawl API 키를 지정한다. 기본값은FIRECRAWL_API_KEY환경 변수이다.query: 검색에 사용할 쿼리 문자열이다.page_options: 선택 사항. 결과 포맷팅을 위한 옵션이다.onlyMainContent: 선택 사항. 헤더, 네비게이션, 푸터 등을 제외하고 페이지의 주요 내용만 반환한다.includeHtml: 선택 사항. 페이지의 원시 HTML 내용을 포함한다. 응답에 html 키를 출력한다.fetchPageContent: 선택 사항. 페이지의 전체 내용을 가져온다.
search_options: 선택 사항. 크롤링 동작을 제어하기 위한 옵션이다.limit: 선택 사항. 크롤링할 최대 페이지 수이다.
