FirecrawlCrawlWebsiteTool은 웹사이트를 크롤링하고 깔끔한 마크다운 또는 구조화된 데이터로 변환하도록 설계되었다.
FirecrawlCrawlWebsiteTool
FIRECRAWL_API_KEY
)로 설정한다.crewai[tools]
패키지를 함께 설치한다:api_key
: 선택 사항. Firecrawl API 키를 지정한다. 기본값은 FIRECRAWL_API_KEY
환경 변수다.url
: 크롤링을 시작할 기본 URL이다.page_options
: 선택 사항.
onlyMainContent
: 선택 사항. 헤더, 네비게이션, 푸터 등을 제외하고 페이지의 주요 내용만 반환한다.includeHtml
: 선택 사항. 페이지의 원시 HTML 콘텐츠를 포함한다. 응답에 html 키를 출력한다.crawler_options
: 선택 사항. 크롤링 동작을 제어하는 옵션이다.
includes
: 선택 사항. 크롤링에 포함할 URL 패턴이다.exclude
: 선택 사항. 크롤링에서 제외할 URL 패턴이다.generateImgAltText
: 선택 사항. LLM을 사용해 이미지에 대한 alt 텍스트를 생성한다(유료 플랜 필요).returnOnlyUrls
: 선택 사항. true로 설정하면 크롤링 상태에서 URL 목록만 반환한다. 주의: 응답은 문서 목록이 아닌 data 안에 URL 목록이 된다.maxDepth
: 선택 사항. 크롤링할 최대 깊이를 설정한다. 깊이 1은 기본 URL이고, 깊이 2는 기본 URL과 직접 연결된 자식 페이지를 포함한다.mode
: 선택 사항. 사용할 크롤링 모드를 지정한다. 빠른 모드는 사이트맵이 없는 웹사이트에서 4배 더 빠르게 크롤링하지만 정확도가 떨어질 수 있으며, 자바스크립트가 많이 사용된 웹사이트에는 적합하지 않다.limit
: 선택 사항. 크롤링할 최대 페이지 수를 설정한다.timeout
: 선택 사항. 크롤링 작업의 타임아웃을 밀리초 단위로 설정한다.