[中國電]信完成業(yè)界首個國產(chǎn)算力的跨架構(gòu)大模型推理技術(shù)驗證，英偉達、昇騰、沐曦芯片無縫運行

IT之家 12 月 12 日消息，據(jù)通信產(chǎn)業(yè)網(wǎng)今日報道，中國電信研究院聯(lián)合中國科學院計算技術(shù)研究所、華為昇騰、沐曦等，依托中國電信云網(wǎng)融合技術(shù)中試驗證平臺，成功完成業(yè)界首個面向國產(chǎn)算力的跨架構(gòu)大模型推理技術(shù)驗證。

中國電信研究院牽頭啟動“Triton 統(tǒng)一跨架構(gòu)推理框架”技術(shù)攻關(guān)，通過自研 Triton 跨架構(gòu)編譯器與統(tǒng)一大模型算子庫，實現(xiàn)同一套算子源碼在英偉達、昇騰、沐曦三類芯片上無縫運行。

本次技術(shù)驗證已完成 10 余款主流開源模型在三類芯片上的端到端推理測試，核心指標表現(xiàn)優(yōu)異：

平均遷移時間≤3 天，較傳統(tǒng)適配模式效率提升超 80%；

精度誤差 < 0.5%，確保模型推理可靠性；

在同等延遲約束下，系統(tǒng)吞吐達到各芯片原生算子庫的 90% 以上，實現(xiàn)性能與適配效率的雙重優(yōu)化。

此外，框架內(nèi)置的 benchmark 與 Profiling 工具可一鍵生成跨芯性能對比報告，為業(yè)務方提供選芯決策支撐。

IT之家注：中國電信研究院是中國電信集團下屬研發(fā)機構(gòu)，聚焦 6G、光網(wǎng)絡、衛(wèi)星通信等領(lǐng)域核心技術(shù)攻關(guān)。