應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

寒武紀(jì)已適配 DeepSeek-V3.2-Exp,同步開源推理引擎 vLLM-MLU

2025-09-30 08:58 IT之家
關(guān)鍵詞:寒武紀(jì)

導(dǎo)讀:DeepSeek 正式發(fā)布了 DeepSeek-V3.2-Exp 模型,這是一個(gè)實(shí)驗(yàn)性(Experimental)的版本。寒武紀(jì)也宣布,已同步實(shí)現(xiàn)對(duì)深度求索公司最新模型 DeepSeek-V3.2-Exp 的適配,并開源大模型推理引擎 vLLM-MLU 源代碼。

  9 月 30 日消息,DeepSeek 正式發(fā)布了 DeepSeek-V3.2-Exp 模型,這是一個(gè)實(shí)驗(yàn)性(Experimental)的版本。寒武紀(jì)也宣布,已同步實(shí)現(xiàn)對(duì)深度求索公司最新模型 DeepSeek-V3.2-Exp 的適配,并開源大模型推理引擎 vLLM-MLU 源代碼。

  寒武紀(jì)稱,一直高度重視大模型軟件生態(tài)建設(shè),支持以 DeepSeek 為代表的所有主流開源大模型。借助于長(zhǎng)期活躍的生態(tài)建設(shè)和技術(shù)積累,寒武紀(jì)得以快速實(shí)現(xiàn)對(duì) DeepSeek-V3.2-Exp 這一全新實(shí)驗(yàn)性模型架構(gòu)的 day 0 適配和優(yōu)化。

  針對(duì)本次的 DeepSeek-V3.2-Exp 新模型架構(gòu),寒武紀(jì)通過 Triton 算子開發(fā)實(shí)現(xiàn)了快速適配,利用 BangC 融合算子開發(fā)實(shí)現(xiàn)了極致性能優(yōu)化,并基于計(jì)算與通信的并行策略,再次達(dá)成了業(yè)界領(lǐng)先的計(jì)算效率水平。依托 DeepSeek-V3.2-Exp 帶來的全新 DeepSeek Sparse Attention 機(jī)制,疊加寒武紀(jì)的極致計(jì)算效率,可大幅降低長(zhǎng)序列場(chǎng)景下的訓(xùn)推成本,共同為客戶提供極具競(jìng)爭(zhēng)力的軟硬件解決方案。