ScrapeWebsiteTool은 지정된 웹사이트의 콘텐츠를 추출하고 읽기 위해 설계된 도구이다.
ScrapeWebsiteTool
pip install 'crewai[tools]'
from crewai_tools import ScrapeWebsiteTool # 실행 중 발견한 모든 웹사이트를 스크랩할 수 있도록 설정 tool = ScrapeWebsiteTool() # 특정 웹사이트의 콘텐츠만 스크랩할 수 있도록 URL로 초기화 tool = ScrapeWebsiteTool(website_url='https://www.example.com') # 사이트에서 텍스트 추출 text = tool.run() print(text)
string