项目背景
作为造车新势力的新起之秀,理想计划未来推出无人驾驶新方案,汽车感知系统这块会由激光雷达+环绕摄像头+毫米波雷达+超声波雷达+高精地图等组成。这对模型训练的精度要求极高。模型规模大,复杂程度高,不仅仅有文件训练的需求,也有结构化数据的训练需求。
面临的挑战
现有存储操作复杂度高,无法做到高性能和稳定性兼得;
目前模型里面有大文件和海量小文件,有结构化数据也有非结构化数据,需要高混合读写带宽和超低延迟。
解决方案
- 极客天成RDMA分布式集群存储(NVMatrix + NVFile ),两节点单存储卷600万IOPS , 40GB/s;
- 7台NVDIA Quantum QM8700 HDR 交换机
客户收益
- 极客天成NVMatrix全闪存分布式集群存储,专为减少 HPC 工作负载的延迟而设计,旨在充分利用 NVMe 和 RDMA 技术的优势,为 HPC 应用程序提供高带宽、低延迟和每秒高输入/输出操作 (IOPS) 存储;
- 统一的分布式集群存储(块+文件),可同时为超算集群提供结构化和非结构化数据存储需求;
- 极客天成集群内部基于RDMA高性能网络传输设计的存储优化,可保证在客户在多种极端环境下(大文件、小文件、单流、多流)保障并行文件系统满带宽输出和稳定性。