DeepSeekは3FSをオープンソースとして公開し、高速並列ファイルシステムによるAIデータアクセスを最適化しました。
ChainCatcher のメッセージによると、DeepSeek の発表において、オープンソースウィークの5日目に、その Fire-Flyer ファイルシステム(3FS)が正式にオープンソース化されました。高性能の並列ファイルシステムとして、3FS は最新の SSD と RDMA ネットワークを最大限に活用し、高速データアクセスを実現し、AI モデルのトレーニングと推論の効率を向上させます。3FS の主要性能指標:180 ノードのクラスターで 6.6 TiB/s の総読み取りスループットを実現25 ノードの GraySort ベンチマークテストで 3.66 TiB/分のスループットを達成単一ノードの KVCache クエリのピークスループットが 40+ GiB/s を超える3FS は分離型アーキテクチャを採用しており、データ前処理、データセットのロード、チェックポイントの保存/復元、埋め込みベクトル検索および推論 KVCache クエリをサポートし、強い一貫性のセマンティクスを備えています。DeepSeek は Smallpond データ処理フレームワークも同時に発表し、3FS のデータ管理能力をさらに最適化しました。