网页抓取
为 Agent 配置专业的网页抓取服务,将公开网页、在线文档与技术文章转换为干净可读的内容供模型分析。
与网络搜索的分工
网络搜索负责「发现网页」,网页抓取负责「深入阅读」。配置网页抓取服务后,Agent 在接收到 URL 时可自动调用抓取工具提取页面正文。
主流抓取服务接入支持
- Firecrawl
- Jina Reader
- WaterCrawl
- Tavily Extract
- Crawl4AI 等支持标准 HTTP / API 的抓取服务
为 Agent 配置专业的网页抓取服务,将公开网页、在线文档与技术文章转换为干净可读的内容供模型分析。
网络搜索负责「发现网页」,网页抓取负责「深入阅读」。配置网页抓取服务后,Agent 在接收到 URL 时可自动调用抓取工具提取页面正文。