pip install spider-client 'crewai[tools]'

from crewai_tools import SpiderTool

def main():
    spider_tool = SpiderTool()

    searcher = Agent(
        role="웹 리서치 전문가",
        goal="특정 URL에서 관련 정보를 찾는다",
        backstory="웹을 매우 잘 활용하는 전문 웹 리서치 전문가",
        tools=[spider_tool],
        verbose=True,
    )

    return_metadata = Task(
        description="https://spider.cloud를 스크랩하고, 1개의 제한과 메타데이터 활성화",
        expected_output="spider.cloud의 메타데이터와 10단어 요약",
        agent=searcher
    )

    crew = Crew(
        agents=[searcher],
        tasks=[
            return_metadata,
        ],
        verbose=2
    )

    crew.kickoff()

if __name__ == "__main__":
    main()