3FS：DeepSeek 推出的高性能分布式文件系统

3FS简介

Fire-Flyer File System（3FS）是由 DeepSeek 推出的高性能分布式文件系统，专为应对人工智能训练和推理工作负载的挑战而设计。它利用现代 SSD 和 RDMA 网络，结合数千块 SSD 的吞吐量和数百个存储节点的网络带宽，提供了一个共享存储层。3FS 采用解耦架构，支持强一致性（通过 CRAQ 实现），并提供熟悉的文件接口，无需学习新的存储 API。它支持多种工作负载，包括数据准备、高效随机访问训练样本、大规模训练的并行检查点以及为推理优化的 KVCache。在大规模集群测试中，3FS 展现了卓越的性能，例如在 180 个存储节点的集群中实现了 6.6 TiB/s 的聚合读取吞吐量。

3FS主要功能

1. 高性能数据访问：3FS通过整合大量SSD和高速网络资源，实现了极高的数据吞吐量，能够支持大规模AI训练和推理任务中的快速数据读写。它还通过KVCache技术优化了推理过程中的数据访问，进一步提升了效率。
2. 强一致性保障：3FS采用链式复制和分配查询（CRAQ）技术，确保数据在多个副本之间始终保持一致。这种设计简化了应用开发，使得开发者无需担心数据同步问题。
3. 通用文件接口：3FS提供了标准的文件系统接口，用户无需学习新的API即可使用。它通过无状态元数据服务和事务性键值存储（如FoundationDB）来管理元数据，保证了系统的高效性和可扩展性。
4. 优化AI工作负载：3FS针对AI任务进行了优化，支持高效的数据准备和管理，能够快速处理大规模数据集。它还支持并行检查点功能，方便大规模训练任务的恢复和管理。
5. 高扩展性和灵活性：3FS支持从小型集群到大规模部署的多种场景，能够灵活适应不同的硬件配置和工作负载需求。

3FS技术原理

1. 分离式架构：3FS采用计算与存储分离的设计，将存储资源集中管理并通过高速网络传输数据。这种架构使得数据访问不受位置限制，简化了资源管理。
2. 链式复制与分配查询（CRAQ）：3FS通过链式复制确保数据在多个副本之间的一致性，并通过分配查询优化读取性能，减少延迟。
3. 无状态元数据服务：3FS使用事务性键值存储（如FoundationDB）来管理元数据，这种无状态设计提高了系统的可扩展性和可靠性。
4. Direct I/O与RDMA优化：3FS通过Direct I/O直接访问SSD，避免了文件缓存带来的开销。同时，它利用RDMA技术实现高效的数据传输，进一步提升了性能。
5. KVCache技术：3FS在推理任务中引入了KVCache，用于缓存关键中间结果，避免重复计算。这种技术不仅提高了推理效率，还提供了比传统DRAM缓存更大的容量。
6. 数据局部性优化：3FS通过优化数据布局和访问模式，减少了数据传输的延迟和带宽消耗，尤其在大规模分布式任务中表现出色。

3FS应用场景

1. 大规模机器学习训练：3FS能够快速处理海量训练数据，支持大规模集群的高效数据读写，显著缩短训练时间，提升模型训练效率。
2. 分布式计算环境：3FS优化了跨节点的数据访问，支持随机读取训练样本，无需预加载或数据打乱，简化了分布式计算的复杂性。
3. 高效推理加速：3FS通过KVCache技术缓存关键数据，减少推理过程中的重复计算，同时降低对内存的依赖，提升推理效率。
4. 模型检查点管理：3FS支持高吞吐量的并行检查点功能，能够快速保存和恢复大规模模型的训练状态，确保训练过程的连续性。
5. 多模态数据处理：3FS能够处理多种类型的数据（如文本、图像、点云等），适用于自动驾驶、机器人等需要处理多种数据的场景。
6. 数据预处理与中间存储：3FS可以高效管理大规模数据预处理产生的中间结果，支持层次化目录结构，加速数据准备过程。

3FS项目入口

• GitHub代码库：https://github.com/deepseek-ai/3FS