5月26日消息，Nous Research宣布正式推出Psyche网络（Psyche Network），通过去中心化方式革新人工智能（AI）训练。Psyche网络利用区块链技术，汇聚全球计算资源，成功启动了40B参数大语言模型Consilience的预训练任务，总计20万亿token，创下了迄今为止互联网上最大规模的预训练纪录。
Consilience大语言模型采用DeepSeek V3的多头潜在注意力（MLA）架构，相较于Llama使用的GQA架构，表现更具表达力，并通过优化QKV投影矩阵来减少计算开销。Psyche利用全球闲置的计算资源（如4090、A100和H100等消费级GPU），大幅降低了训练成本。通过并行实验，Psyche鼓励开源社区提出新的模型架构和训练方法，未来可能催生更多创新。
Psyche网络的核心在于DisTrO优化器与Solana区块链技术，打破了传统的集中化训练模式。过去，AI模型训练的成本高昂，几乎只有大型科技公司才能承受。Psyche网络通过去中心化的方式，让全球的计算资源都能参与到AI模型训练中，降低了训练的门槛，推动了AI技术的民主化。
Psyche网络解决了去中心化训练中的最大问题——网络带宽瓶颈。传统的GPU集群通过极高带宽的连接（如NVLink或InfiniBand）进行数据交换，而互联网上的志愿者节点带宽通常有限。Nous研究团队推出的DisTrO技术通过优化带宽需求，使去中心化训练成为可能，将所需带宽降低了1000到10000倍。2024年12月，Nous与多位合作伙伴共同在封闭测试网上训练了一个150亿参数的基础模型，并成功验证了多项理论设想。
Psyche网络搭建在区块链上，利用区块链的优势，包括无需许可、弹性与高可用性以及激励机制。Psyche网络计划将这些优势开放给全球参与者，推动AI训练的去中心化和民主化。随着去中心化训练的成功，Psyche网络有望成为AI发展的一个重要基石，为开源社区和小型团队提供与科技巨头抗衡的机会。
通过强化学习，Psyche网络不仅能推动模型的预训练，还能让每个参与者根据其贡献获得奖励，进一步促进全球协作和创新。Psyche网络的成功将有望打破AI训练的算力壁垒，为更多小型团队和个人研究者提供公平的参与机会。
