Firecrawl Web Agent:开源网页研究助手,用自然语言指令上网查东西
Firecrawl 大家应该不陌生——126K Star 的网页抓取和搜索 API,几乎是做 AI 数据抓取的标配工具。但你知不知道他们最近开源了一个叫 Web Agent 的项目?
简单说,Firecrawl Web Agent 是一个能自己上网搜索、浏览页面、提取数据的 AI 助手。你给它一个任务,它会自己规划步骤、执行搜索、点开链接看内容、最后给你结构化的结果。
GitHub 上目前 1,100+ Star,MIT 协议。
它跟普通的 Firecrawl SDK 有啥区别?
Firecrawl SDK 是工具——给你搜索、抓取、爬虫的 API,你自己写逻辑。Web Agent 是完整的代理——它自己决定什么时候搜索、抓取什么页面、怎么提取信息。
技术栈是这样的,从底层到上层:
┌─ Next.js 模板(聊天界面,开箱即用)
├─ Express 模板(API 服务)
├─ Agent Core(核心逻辑:编排器、Skills、子Agent)
├─ Firecrawl AI SDK(搜索/抓取/交互工具)
├─ Firecrawl SDK(底层 API 客户端)
└─ Firecrawl API(REST 接口)
你可以选自己想要哪一层。要完整的聊天界面用 Next.js 模板,要 API 服务用 Express 模板,只要核心逻辑用 Agent Core 当库引用。
核心能力
搜索(Search):联网搜索,返回相关结果列表。
抓取(Scrape):读取页面内容,支持 Markdown 输出。
交互(Interact):浏览器自动化——能点按钮、填表单、滚动页面、等元素加载。这个不只是"抓取静态页面",是真能操作动态网站。
Skills 技能系统:可复用的 SKILL.md 文件,定义特定任务的最佳实践。Agent 在遇到任务时按需加载,不浪费上下文。
子 Agent 并行执行:复杂任务自动拆成子任务,多个子 Agent 并行推进,每个有自己的浏览器会话和工具集。
结构化输出:结果以 JSON 格式输出,方便后续处理。
流式输出:支持 streaming 响应,不用等全部跑完才能看到进展。
怎么用?
装 CLI 然后初始化项目:
npx -y firecrawl-cli@latest init -y --browser
firecrawl create agent -t next
或者只要核心库:
npm install @firecrawl/web-agent
核心 Agent 代码示例(来自官方 examples):
import { Agent } from "@firecrawl/web-agent";
const agent = new Agent({
model: "spark-1", // Firecrawl 自研模型
});
const result = await agent.run("查找最新的 AI 编程工具排名并总结前三名");
技术架构
底层用的是 Deep Agents(LangChain 的 JavaScript 版本),提供了 plan-act 循环、子 Agent 生成和 Skills 按需加载。Firecrawl 的 agent-core 在这个基础上接了 Firecrawl 的工具集,加上结构化输出和流式响应。
模型方面推荐用 Firecrawl 自研的 Spark 1 模型,专门为网页研究优化过。当然你也可以用自己的模型。
几个问题
- 依赖 Firecrawl API Key——虽然开源了 Agent 代码,但搜索引擎和抓取能力还是走 Firecrawl 的服务
- 项目还比较新(2026 年 3 月创建的),生态还在长
- 浏览器交互依赖 headless Chrome,资源消耗不小
- 中文搜索结果质量依赖于底层 Firecrawl 搜索引擎的表现
我的看法
Firecrawl 在"把网页数据喂给 AI"这个方向上做了很久,126K Star 的体量说明市场认可度很高。Web Agent 是他们在"Agent + 网页数据"这条逻辑链上的自然延伸——不只是给工具,还给了能自己用工具的代理。
如果你已经在用 Firecrawl 的 SDK,那 Web Agent 几乎零成本上手。如果你想要一个能自己上网查资料、整理报告的开源 Agent,这也是一个值得关注的选择。MIT 协议,随意修改和商用。
项目地址:github.com/firecrawl/web-agent
Firecrawl 官网:firecrawl.dev
Firecrawl SDK:github.com/firecrawl/firecrawl(126K ⭐)