​
FirecrawlScrapeWebsiteTool

​
설명

Firecrawl은 웹사이트를 크롤링하고 깔끔한 마크다운 또는 구조화된 데이터로 변환하는 플랫폼이다.

​
설치

  • firecrawl.dev에서 API 키를 발급받고 환경 변수(FIRECRAWL_API_KEY)에 설정한다.
  • Firecrawl SDK와 crewai[tools] 패키지를 함께 설치한다:
pip install firecrawl-py 'crewai[tools]'

​
예제

에이전트가 웹사이트를 로드할 수 있도록 FirecrawlScrapeWebsiteTool을 다음과 같이 사용한다:

from crewai_tools import FirecrawlScrapeWebsiteTool

tool = FirecrawlScrapeWebsiteTool(url='firecrawl.dev')

​
인자

  • api_key: 선택 사항. Firecrawl API 키를 지정한다. 기본값은 FIRECRAWL_API_KEY 환경 변수이다.
  • url: 스크랩할 URL이다.
  • page_options: 선택 사항.
    • onlyMainContent: 선택 사항. 헤더, 네비게이션, 푸터 등을 제외하고 페이지의 주요 내용만 반환한다.
    • includeHtml: 선택 사항. 페이지의 원시 HTML 내용을 포함한다. 응답에 html 키가 출력된다.
  • extractor_options: 선택 사항. 페이지 내용에서 구조화된 정보를 추출하기 위한 LLM 기반 옵션이다.
    • mode: 사용할 추출 모드이다. 현재 ‘llm-extraction’을 지원한다.
    • extractionPrompt: 선택 사항. 페이지에서 어떤 정보를 추출할지 설명하는 프롬프트이다.
    • extractionSchema: 선택 사항. 추출할 데이터의 스키마이다.
  • timeout: 선택 사항. 요청에 대한 타임아웃(밀리초 단위)이다.