​

FirecrawlScrapeWebsiteTool

​

설명

Firecrawl은 웹사이트를 크롤링하고 깔끔한 마크다운 또는 구조화된 데이터로 변환하는 플랫폼이다.

​

설치

• firecrawl.dev에서 API 키를 발급받고 환경 변수(FIRECRAWL_API_KEY)에 설정한다.
• Firecrawl SDK와 crewai[tools] 패키지를 함께 설치한다:

pip install firecrawl-py 'crewai[tools]'

​

예제

에이전트가 웹사이트를 로드할 수 있도록 FirecrawlScrapeWebsiteTool을 다음과 같이 사용한다:

from crewai_tools import FirecrawlScrapeWebsiteTool

tool = FirecrawlScrapeWebsiteTool(url='firecrawl.dev')

​

인자

• api_key: 선택 사항. Firecrawl API 키를 지정한다. 기본값은 FIRECRAWL_API_KEY 환경 변수이다.
• url: 스크랩할 URL이다.
• page_options: 선택 사항.
  • onlyMainContent: 선택 사항. 헤더, 네비게이션, 푸터 등을 제외하고 페이지의 주요 내용만 반환한다.
  • includeHtml: 선택 사항. 페이지의 원시 HTML 내용을 포함한다. 응답에 html 키가 출력된다.
• extractor_options: 선택 사항. 페이지 내용에서 구조화된 정보를 추출하기 위한 LLM 기반 옵션이다.
  • mode: 사용할 추출 모드이다. 현재 ‘llm-extraction’을 지원한다.
  • extractionPrompt: 선택 사항. 페이지에서 어떤 정보를 추출할지 설명하는 프롬프트이다.
  • extractionSchema: 선택 사항. 추출할 데이터의 스키마이다.
• timeout: 선택 사항. 요청에 대한 타임아웃(밀리초 단위)이다.