2月26日，DeepSeek宣布开源DeepGEMM。DeepGEMM是一个专为简洁高效的FP8通用矩阵乘法，GEMM设计的库，具有细粒度缩放功能，如 DeepSeek-V3中所提出。它支持普通和混合专家（MoE）分组的 GEMM。该库采用CUDA编写，在安装过程中无需编译，通过使用轻量级的即时编译（JIT）模块在运行时编译所有内核。

DeepGEMM 并非是一个普通的库，而是专门为实现简洁高效的 FP8 通用矩阵乘法（GEMM）而设计的。这一设计理念正如 DeepSeek-V3 中所提出的那样，具有极其出色的细粒度缩放功能。

它不仅支持普通的 GEMM，还能够完美兼容混合专家（MoE）分组的 GEMM，这使得其应用场景更加广泛。该库是采用 CUDA 进行编写的，这为其性能的优化和稳定性提供了有力的技术支撑。

在实际的安装过程中，无需进行繁琐的编译操作，而是通过使用轻量级的即时编译（JIT）模块，在运行时能够迅速编译所有内核。这种便捷的特性，大大降低了用户的使用门槛和操作难度。

FP8GEMM 库的出现，具有重大的意义，为 V3/R1 的训练和推理提供了强有力的支持。在当

免责声明：本文内容源于本网站会员投稿或转载，观点及信息均为作者个人意见，与本网站立场无关，且不构成投资建议。投资决策应基于个人独立判断，风险自担。本网站为信息交流平台，仅提供信息存储空间，不拥有内容所有权，亦不承担法律责任。如发现侵权或违规行为，请发邮件至{yangyangzhi8@foxmail.com}举报，一经核实，将立即删除并保留追究法律责任的权利。