​
ScrapeWebsiteTool

아직 도구를 개선 중이므로 예상치 못한 동작이나 변경 사항이 발생할 수 있습니다.

​
설명

특정 웹사이트의 콘텐츠를 추출하고 읽기 위해 설계된 도구이다. HTTP 요청을 보내고 받은 HTML 콘텐츠를 파싱하여 다양한 유형의 웹 페이지를 처리할 수 있다. 이 도구는 웹 스크래핑 작업, 데이터 수집, 또는 웹사이트에서 특정 정보를 추출하는 데 특히 유용하다.

​
설치

crewai_tools 패키지를 설치한다.

pip install 'crewai[tools]'

​
예제

from crewai_tools import ScrapeWebsiteTool

# 실행 중 발견한 모든 웹사이트를 스크랩할 수 있도록 설정
tool = ScrapeWebsiteTool()

# 특정 웹사이트의 콘텐츠만 스크랩할 수 있도록 URL로 초기화
tool = ScrapeWebsiteTool(website_url='https://www.example.com')

# 사이트에서 텍스트 추출
text = tool.run()
print(text)

​
인자

인자타입설명
website_urlstring필수 읽을 파일의 웹사이트 URL. 이 도구의 주요 입력값으로, 어떤 웹사이트의 콘텐츠를 스크랩하고 읽을지 지정한다.
PG RAG 검색Selenium Scraper