Hugging Face 从前苹果研究人员手中收购开发平台XetHub

Hugging Face 收购了由前苹果公司研究人员创立的西雅图公司 XetHub，这是一家协作开发平台，旨在帮助机器学习团队更高效地处理大型数据集和模型。尽管交易的具体金额未公开，但 Hugging Face 的 CEO Clem Delangue 表示这是公司迄今为止最大的一笔收购。

XetHub 由 Yucheng Low、Ajit Banerjee 和 Rajat Arya 在 2021 年创立，他们曾在苹果公司的内部机器学习基础设施上工作。XetHub 通过提供类似 Git 的版本控制功能，支持高达 TB 级别的存储库，帮助企业探索、理解和使用大型模型和数据集。它通过内容定义的分块、去重、即时存储库挂载和文件流等高级技术，提高了存储和传输过程的效率。

收购后，XetHub 平台将不再独立存在，其数据和模型处理能力将整合到 Hugging Face Hub 中，将模型和数据集共享平台升级为更优化的存储和版本控制后端。目前，Hugging Face Hub 使用 Git LFS（大文件存储）作为后端，但随着 AI 生态系统中大型文件数量的不断增长，公司意识到需要升级。XetHub 支持的单个文件大小超过 1TB，总存储库大小远超 100TB，这将大大超越 Git LFS 目前仅支持的 5GB 文件大小和 10GB 存储库的限制。

此外，XetHub 的内容定义分块和去重功能将允许用户在数据集更新时只上传新行的选定部分，而不是重新上传整个文件集，这将节省大量时间。Hugging Face 的 CTO Julien Chaumond 表示，随着领域向未来几个月的万亿参数模型发展，他们希望这项新技术能够在社区和企业公司中实现新的规模扩展。目前，Hugging Face Hub 托管了 130 万个模型、45 万个数据集和 68 万个空间，总计达到 12PB 的 LFS 存储。随着增强的存储后端的推出，支持更大的模型和数据集，我们期待看到这些数字如何增长。目前，整合和推出其他支持功能的确切时间表尚不清楚。

来源：venturebeat