跳到主要内容
MetaAnything
点击切换文档

网页抓取

为 Agent 配置专业的网页抓取服务,将公开网页、在线文档与技术文章转换为干净可读的内容供模型分析。

与网络搜索的分工

网络搜索负责「发现网页」,网页抓取负责「深入阅读」。配置网页抓取服务后,Agent 在接收到 URL 时可自动调用抓取工具提取页面正文。

主流抓取服务接入支持

  • Firecrawl
  • Jina Reader
  • WaterCrawl
  • Tavily Extract
  • Crawl4AI 等支持标准 HTTP / API 的抓取服务