英偉達(dá)美東時(shí)間2日周二披露了與法國(guó)人工智能（AI）初創(chuàng)公司Mistral AI合作取得的重大突破。通過采用英偉達(dá)的最新芯片技術(shù)，Mistral AI開源模型家族的新成員在性能、效率和部署靈活性上實(shí)現(xiàn)跨越式提升。
這一合作成果的核心是，Mistral Large 3這一大型模型在英偉達(dá)GB200 NVL72系統(tǒng)上實(shí)現(xiàn)了相比前代H200芯片10倍的性能提升。這種性能飛躍轉(zhuǎn)化為更好的用戶體驗(yàn)、更低的單次響應(yīng)成本以及更高的能源效率。該模型在每兆瓦（MW）能耗下可實(shí)現(xiàn)每秒超過500萬個(gè)token的處理速度。
除大型模型外，名為Ministral 3的小型模型系列也針對(duì)英偉達(dá)邊緣平臺(tái)進(jìn)行了優(yōu)化，可在RTX PC、筆記本電腦和Jetson設(shè)備上運(yùn)行。這使得企業(yè)能夠在云端到邊緣的任何場(chǎng)景部署人工智能應(yīng)用，無需依賴持續(xù)的網(wǎng)絡(luò)連接。
Mistral AI周二發(fā)布的新模型家族包括一個(gè)大型前沿模型和九個(gè)小模型，均可通過Hugging Face等開源平臺(tái)和主流云服務(wù)商獲取。業(yè)內(nèi)人士認(rèn)為，這一系列發(fā)布標(biāo)志著開源AI進(jìn)入"分布式智能"新階段，彌合了研究突破與實(shí)際應(yīng)用之間的差距。
GB200系統(tǒng)助力大模型性能突破
Mistral Large 3是一個(gè)混合專家模型（MoE），擁有675億總參數(shù)和410億活躍參數(shù)，以及25.6萬token的上下文窗口。該架構(gòu)的特點(diǎn)是僅激活對(duì)每個(gè)token最具影響力的模型部分，而非啟動(dòng)所有神經(jīng)元，從而在保持精度的同時(shí)實(shí)現(xiàn)高效擴(kuò)展。
英偉達(dá)稱，通過利用一系列專為大型先進(jìn)MoE量身定制的優(yōu)化技術(shù)，Mistral Large 3在英偉達(dá)GB200 NVL72上實(shí)現(xiàn)了同類最佳性能。