关于去中心化AI训练的想法/预测，2025年。 1. 可以说，我们现在的去中心化AI训练与18个月前的情况截然不同。那时，去中心化训练是不可能的，而现在它已经进入市场并成为一个领域。 2. 不要误解，去中心化训练的最终目标是在去中心化网络上训练具有竞争力的前沿模型。因此，我们刚刚开始我们的竞争之旅，但我们正在快速前进。 3. 现在达成共识，我们可以在去中心化网络上预训练和后训练多达数十亿参数的模型（主要是大型语言模型，主要是变换器架构）。目前的技术水平高达约100B，最高端的模型已经在视野之内，但尚未展示。 4. 现在达成共识，我们可以在去中心化网络上相对可行地训练少于10B参数的模型。也有一些具体的案例研究（主要来自@gensynai @PrimeIntellect @NousResearch），其中10B、32B、40B参数的模型已经被训练或正在训练中。@gensynai的后训练群体可以处理多达72B参数的模型。 5. @PluralisHQ的创新现在已经使得在去中心化网络上可扩展的预训练的"不可能性"失效，因为它消除了通信效率瓶颈。然而，原始FLOPs、可靠性和可验证性仍然是这些类型网络的瓶颈——这些问题是非常可解决的，但需要一些时间来技术上解决。根据Pluralis的协议学习，我认为我们可以在6-12个月的时间框架内达到约100B的模型。 6. 我们如何从100B模型达到300B参数模型？我认为我们需要找到有效且流畅地分割参数的方法，并保持单个设备的内存相对较低（例如，每个设备<32GB内存）。我认为我们需要在网络中达到20 EFlops；这意味着大约需要10-20K个消费者设备运行4-6周进行训练。 总体而言，去中心化训练有望成为一个非常令人兴奋的领域。它的一些创新已经被考虑用于广泛的AI应用。