DeepSeek 開源並發布 3FS,高速並行文件系統優化 AI 數據訪問
ChainCatcher 消息,据 DeepSeek 公告,在開源週第五天,其 Fire-Flyer 文件系統(3FS)正式開源,作為一款高性能並行文件系統,3FS 可充分利用現代 SSD 和 RDMA 網絡,實現高速數據訪問,提升 AI 模型訓練與推理效率。3FS關鍵性能指標:在 180 節點集群中實現 6.6 TiB/s 總讀取吞吐量在 25 節點 GraySort 基準測試中達到 3.66 TiB/分鐘吞吐量單節點 KVCache 查詢峰值吞吐量超 40+ GiB/s3FS採用分離式架構,支持數據預處理、數據集加載、檢查點存儲/恢復、嵌入向量搜索及推理 KVCache 查詢,具備強一致性語義。DeepSeek 同步推出 Smallpond 數據處理框架,進一步優化 3FS 數據管理能力。