FirecrawlScrapeWebsiteTool은 웹사이트를 스크랩하여 깔끔한 마크다운이나 구조화된 데이터로 변환하는 도구이다.
FirecrawlScrapeWebsiteTool
FIRECRAWL_API_KEY
)에 설정한다.crewai[tools]
패키지를 함께 설치한다:api_key
: 선택 사항. Firecrawl API 키를 지정한다. 기본값은 FIRECRAWL_API_KEY
환경 변수이다.url
: 스크랩할 URL이다.page_options
: 선택 사항.
onlyMainContent
: 선택 사항. 헤더, 네비게이션, 푸터 등을 제외하고 페이지의 주요 내용만 반환한다.includeHtml
: 선택 사항. 페이지의 원시 HTML 내용을 포함한다. 응답에 html 키가 출력된다.extractor_options
: 선택 사항. 페이지 내용에서 구조화된 정보를 추출하기 위한 LLM 기반 옵션이다.
mode
: 사용할 추출 모드이다. 현재 ‘llm-extraction’을 지원한다.extractionPrompt
: 선택 사항. 페이지에서 어떤 정보를 추출할지 설명하는 프롬프트이다.extractionSchema
: 선택 사항. 추출할 데이터의 스키마이다.timeout
: 선택 사항. 요청에 대한 타임아웃(밀리초 단위)이다.