Nous Research 推出新工具，以 10,000 倍的效率训练强大的 AI 模型

Nous Research 近期推出了一种名为 DisTrO (Distributed Training Over-the-Internet) 的新优化器，它有可能彻底改变了人工智能（AI）模型的训练方式。DisTrO 能够在训练AI模型时，大幅减少在不同图形处理单元（GPU）之间传输的信息量。这项技术使得在大公司之外，通过开放网络利用消费级连接训练强大的AI模型成为可能，甚至可以由全球各地的个人或机构合作完成。

DisTrO 的优势在于，与传统AI训练方法相比，它在训练过程中的每个步骤中传输的信息量大幅减少，测试结果表明信息量从74.4GB降至86.8MB，同时仅损失了极少的性能。这一技术的开发，意味着更多的人可以根据自己的需要训练极其强大的AI模型。

此外，DisTrO 允许使用GPU集群在更慢的互联网连接上训练大规模模型，速度可达100Mbps下载和10Mbps上传，这对全球许多消费者来说是可行的。这可能为更广泛的协作模型训练、分布式训练、联合学习乃至去中心化训练提供了新的可能性。

最后，这项由Nous Research团队开发的技术正在邀请更多的研究者和开发者加入，以进一步探索和扩展DisTrO的潜力。初步报告和支持材料已在GitHub上提供，团队正在积极寻找合作伙伴共同完善这一突破性技术。

来源：venturebeat