你的电脑也能参与训练百亿参数模型
训练大模型要有钱买几千块 GPU。或者，用 Hivemind。
是什么
Hivemind 是 PyTorch 生态里的一个去中心化深度学习库。它的目标很简单：让几百上千台普通电脑连起来，一起训练一个超大模型。
没有主节点，没有中央服务器。每台机器装上 Hivemind 后，通过 DHT（分布式哈希表）自动发现网络中其他节点，组成一个对等训练网络。哪台机器掉线了，其他节点自己补上。
这想法不新——SETI@Home、Folding@Home 都是这个路子。但 Hivemind 把志愿计算做到了深度学习上，而且是 PyTorch 原生集成，pip install 就能用。
GitHub 上 2.4K Stars，MIT 协议，最新版本 v1.1.12（2026年1月）。团队来自 Yandex/HSE 的研究人员。
核心特色
DHT 无主节点组网
Hivemind 用 Kademlia 分布式哈希表做节点发现。新机器加入网络后，不需要联系一个中心协调员，直接通过 DHT 找到其他 peers。这个设计让网络规模可以到几千台，任何机器随时加入退出不影响整体训练。
容错反向传播
分布式训练里最头疼的问题：某个节点挂掉或响应超时，整个训练就得停。Hivemind 用了 Averaging SGD 的思路——每个 worker 本地计算梯度，然后通过去中心化的参数平均来同步。部分节点掉线不会中断训练，只会让收敛慢一点。
去中心化 Mixture-of-Experts
Hivemind 支持 Decentralized MoE——把大模型的不同层分布到不同机器上。每台机器只负责一部分参数，训练时按需激活。这让训练显存远超单卡容量的模型成为可能。
Moshpit SGD 通信优化
团队发了一篇 NeurIPS 2021 论文叫 Moshpit SGD，专门解决异构设备（不同算力、不同带宽）上的去中心化训练通信效率问题。实测在异构网络环境下，通信开销可控，不像全同步训练那样受木桶效应拖累。
安装方法
一句话安装：
pip install hivemind
需要 PyTorch 1.9+ 和 Python 3.8+。Linux（Ubuntu 18.04+）是首选，macOS 部分支持，Windows 10+ 需要 WSL。
如果要用 8-bit 压缩通信，加装：pip install hivemind[bitsandbytes]
实际项目
Hivemind 不只是个学术玩具，已经有好几个落地项目：
- Petals — 去中心化的大模型推理和微调平台，在志愿者的机器上运行 100B+ 参数的语言模型。Hivemind 是 Petals 的底层基础设施。
- Training Transformers Together — NeurIPS 2021 的演示项目，一群志愿者合作训练了一个文本到图像 Transformer 模型。
- CALM — 一个在阿拉伯语数据集上训练的掩码语言模型，完全用 Hivemind 分布式完成。
- sahajBERT — 用志愿计算协作训练的孟加拉语 ALBERT-xlarge 模型。
PyTorch Lightning 也有官方集成，可以无缝对接现有的 Lightning 训练管线。
不是没有槽点
门槛不低。虽然安装就一行，但要真正用好 Hivemind，你得理解分布式训练原理、了解 DHT 和 MoE。对初学者来说文档不算友好好，有些概念在官方文档里解释得不够直观。
网络依赖严重。如果参与训练的机器网络不稳定，虽然 Hivemind 设计上能容错，但整体训练速度还是会受影响。志愿者网络参差不齐，实际训练效率不一定高。
生态还小。2.4K Stars 放在 AI 开源项目里算中等偏少。社区活跃度一般，Issue 回复不算快。相比成熟的分布式训练方案（DeepSpeed、FSDP），Hivemind 更像一个实验项目，用在生产环境上还需要评估。
Mac/Win 支持弱。Linux 是亲儿子，macOS 部分支持，Windows 得靠 WSL——这基本劝退了绝大多数个人电脑用户。
跟同类怎么比
DeepSpeed / FSDP — 这是微软和 PyTorch 官方的分布式方案，成熟、稳定、有商业支持。但它们是中心化的——你得自己管理集群，自己买 GPU。Hivemind 的优势在于＂不要集群，要全球志愿计算＂，把训练成本分摊到自愿参与者的闲置算力上。
Petals — 其实就是 Hivemind 的上层应用。如果只想跑推理和微调大模型，直接用 Petals 更方便。Hivemind 更底层，适合想自己搞分布式训练框架的开发者。
Prime Intellect — 一个商业化的去中心化 AI 算力平台，理念类似但走的是 Token 经济路线。Hivemind 是纯开源的学术路线。
一句话总结
如果你手里有几台闲置机器想利用起来训练模型，或者对去中心化深度学习感兴趣，Hivemind 值得试试。一条命令装上去，就能把自己的电脑变成全球算力网络的一部分。
GitHub：https://github.com/learning-at-home/hivemind
官方网站：https://learning-at-home.readthedocs.io/
标签：#Hivemind #去中心化训练 #分布式深度学习 #PyTorch #MoE #DHT #志愿计算
关注我，每期分享一个帮你省事的强大工具 🛠️