数字人这两年火得不行。但大多是「好看但不能用」——要么绑死某个大厂平台,要么只能跑在特定硬件上。
Fay 不一样。它是个开源的数字人 Agent 框架,GitHub 上 12.8K Star,核心思路就一句话:把数字人大脑(LLM)、感官(ASR)、嘴巴(TTS)和身体(UE5/Unity/Web/单片机)全拆开,你随便组合。
是什么
Fay 是 xszyou/Fay 下的一个 Python 开源项目,GPL-3.0 协议,2022 年开始做,现在 12.9K Star、2.3K Fork。
它做的事很简单:给你一个标准化的数字人中台。 你可以接任何 OpenAI 兼容接口的 LLM(包括 DeepSeek、通义千问这些国产货),接任意 TTS/ASR 模型,然后把它连到 UE5、Unity3D、Wav2Lip、Web 页面甚至单片机上去。每种组件都可以独立换。
不说虚的,直接看图——它提供了一个 Web 管理后台来配置这一切。
核心特色
1. 全解耦:模型、语音、身体各管各的
主流数字人方案往往是「全家桶」——你用了它的模型就不能换 TTS。Fay 反过来:LLM 层是 OpenAI 兼容就行,ASR 可以用 FunASR 或 Whisper,TTS 随意换。数字人身形支持 UE5、Unity3D、Wav2Lip。每层独立,自由匹配。
2. 真离线运行
不需要任何云端依赖。把模型下到本地,Fay 全离线跑。对于做线下展馆、教育终端、军工等场景的团队来说,这很重要。
3. Agent 自主决策 + MCP 工具调用
Fay 不止是数字人壳,它内置了 Agent 框架。数字人可以自主调用工具(查天气、查库存、发通知),也支持 MCP(Model Context Protocol)工具管理,分 SSE 和 Studio 两种模式。最新版本还加入了 DeepSeek 等 thinking LLM 的支持,推理过程可见。
4. 全时流式对话
不像老式方案等用户说完才回复,Fay 支持流式语音交互,边说边听边想,体验更接近真人对话。带唤醒词和打断能力。
5. 多路并发 + 多终端
一台服务器同时服务多个数字人实例。终端可以是手机 App、浏览器、大屏、树莓派。单片机级别都能跑。
6. 仿生记忆 + 日程式主动对话
这个挺有意思。Fay 不是每次对话「忘光一切」,它有记忆机制。还能配置日程,让数字人在特定时间主动说话而不是等人开口。做虚拟教师、虚拟主播、定时播报这些场景很实用。
怎么上手
一行代码启动不了(别信那种标题党)——但要跑起来也就是几步的事情。
# 1. 克隆
git clone https://github.com/xszyou/Fay.git
# 2. 装依赖
pip install -r requirements.txt
# 3. 配 system.conf(把 system.conf.bak 重命名)
# 配 LLM key、ASR、TTS 等信息
# 4. 启动
python main.py start
启动后浏览器打开 http://127.0.0.1:5000 就能进管理后台。如果你只是想体验公共资源跑一下,也可以传一个公共资源 key 直接启动,但速度很慢,建议还是用自己的。
不是没有槽点
文档分散。 主要文档在飞书文档上,不在项目里。更新日志也在飞书。README.md 内容很浓缩,对于新手来说上手可能需要多看几篇社区教程。
没有 Release 版本。 GitHub 页面 0 个 Release。要用就得直接拉主分支,主分支有时候有改动没来得及公告。
Python 3.12 要求。 不是大问题,但如果你还在用老 Python 版本需要升级。Ubuntu 上还要额外装 build-essential 和 portaudio19-dev。
12.9K Star 但 Issue 还有 129 个没关。 项目更新频繁,但 Issue 积压也不少。社区活跃度中等水平。
跟同类怎么比
| 对比项 |
Fay |
MetaHuman |
百度智能云数字人 |
| 是否开源 |
✅ 完全开源 |
⚠️ 部分开源 |
❌ 商业闭源 |
| 离线能力 |
✅ 全离线 |
❌ 需引擎 |
❌ 在线 API |
| 终端覆盖 |
PC/Web/移动/单片机 |
PC/主机 |
Web/移动 |
| Agent 能力 |
✅ 内置+MCP |
❌ 无 |
⚠️ 有限 |
| 商用成本 |
免费(自建服务器) |
UE 授权费 |
按 API 调用收费 |
一句话总结
如果你只是想做一条「数字人视频」就收工,Fay 不是最合适的。但如果你是想真正把数字人集成到产品里、且不在乎花点时间搞定配置——Fay 是目前开源生态里终端覆盖最全的数字人框架,没有之一。
GitHub:https://github.com/xszyou/Fay
标签:#Fay #数字人 #Agent框架 #开源 #人工智能 #虚拟主播 #数字员工 #UE5 #DeepSeek
关注我,每期分享一个帮你省事的强大工具 🛠️