Herdsman（牧马人）是什么
一句话：Ollama 模型的 Web 管理面板。浏览模型库、拉取模型、查看显存占用、测试推理——全在一个漂亮的暗色界面里。
说白了，Ollama 本身只有命令行，模型列表、搜索、管理都比较原始。Herdsman 给 Ollama 装了个图形化"驾驶舱"。
为什么需要它
用过 Ollama 的人都懂这个痛点：
- 想知道 Ollama 模型库里有哪些模型？只能去官网翻
- 想看看本地拉了哪些模型、占了多少显存？敲命令
ollama list + ollama ps
- 想试一个模型的效果？先
ollama pull 再 ollama run
都不是不能用，但体验确实粗糙。Herdsman 把这些全图形化了。
核心功能
📦 模型库浏览器 — 在 UI 里直接搜索和浏览 Ollama 官方模型库，不用去网页翻。看到感兴趣的模型，点一下就能拉到本地。
📋 本地模型管理 — 列出所有已下载的模型，查看详情、删除、拉取新版本。
⬇️ 下载队列 — 批量拉取模型时的顺序队列，SSE 实时显示进度。
🧠 显存估算 — 根据参数量和量化级别估算显存占用。比如 7B 模型 Q4_K_M 量化大概 4.5GB，FP16 要 15GB。一目了然。
📊 运行监控 — 查看当前加载了哪些模型、各占多少显存。可以单个卸载或全部清空。
💬 测试提示词 — 直接在 Dashboard 里给任何本地模型发提示词测试效果，不用切命令行。
显存估算对照
Herdsman 内置了一个实用的参数量估算表：
- FP16 → 2.0 字节/参数 → 7B 模型约 15GB
- Q8_0 → 1.0 → 8GB
- Q6_K → 0.75 → 6.3GB
- Q5_K_M → 0.625 → 5.4GB
- Q4_K_M → 0.5 → 4.5GB
- Q2_K → 0.25 → 2.8GB
在设置里填上你的总显存，浏览模型时就会显示是否装得下。
怎么部署
Docker 一键启动：
docker run -d \
--name herdsman \
-p 4200:80 \
-e HERDSMAN_OLLAMA_HOST=http://host.docker.internal:11434 \
-e HERDSMAN_ADMIN_PASSWORD=change-me \
skydiverookie/herdsman:latest
打开 http://localhost:4200，默认账号 admin / admin。
也支持 Docker Compose 和源码构建。
技术栈
- 后端：Python 3.12 + FastAPI（异步）
- 前端：Angular 21 + Angular Material
- 数据库：SQLite
- 认证：JWT
- 容器：单镜像（nginx + uvicorn + supervisord）
我的看法
Herdsman 解决的问题很聚焦——Ollama 缺一个好用的图形界面。
它不是一个"AI 工具"，而是一个"AI 工具的管理工具"。如果你主要在本地跑 Ollama 模型，经常需要拉新模型、测效果、看显存占用，那 Herdsman 能省不少事。
界面风格简洁暗色，看了挺舒服。部署也简单，一行 Docker 命令的事。