8月21日消息,深度求索官方今日正式对外发布DeepSeek-V3.1,官方提到DeepSeek-V3.1使用了UE8M0FP8Scale的参数精度。
在DeepSeek官方公众号文章页面,DeepSeek进一步解释称,UE8M0FP8是针对即将发布的下一代国产芯片设计。
注:FP英文全称为FloatingPoint,是IEEE定义的标准浮点数类型。UE8M0FP8在AI模型领域代表一种模型精度。
DeepSeekV3.1的Base模型在V3的基础上重新做了外扩训练,一共增加训练了840Btokens。Base模型与后训练模型均已在Huggingface与魔搭开源。附开源地址:
Base模型:
HuggingFace:
https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Base
魔搭:
https://modelscope.cn/models/deepseek-ai/DeepSeek-V3.1-Base
后训练模型:
HuggingFace:
https://huggingface.co/deepseek-ai/DeepSeek-V3.1
魔搭:
https://modelscope.cn/models/deepseek-ai/DeepSeek-V3.1