6月20日消息,在華為開發(fā)者大會(huì)2025(HDC 2025)上,華為常務(wù)董事、華為云計(jì)算CEO張平安宣布基于CloudMatrix 384超節(jié)點(diǎn)的新一代昇騰AI云服務(wù)全面上線,同時(shí)宣布盤古大模型5.5正式發(fā)布,自然語言處理(NLP)、計(jì)算機(jī)視覺(CV)、多模態(tài)、預(yù)測、科學(xué)計(jì)算五大基礎(chǔ)模型全面升級(jí)。
CloudMatrix 384超節(jié)點(diǎn),新一代昇騰AI云服務(wù)
隨著大模型訓(xùn)練和推理對(duì)算力需求的爆炸式增長,傳統(tǒng)計(jì)算架構(gòu)已難以支撐AI技術(shù)的代際躍遷。華為云相關(guān)專家表示,傳統(tǒng)的分布式系統(tǒng)本質(zhì)上是一個(gè)松耦合系統(tǒng),服務(wù)器之間一般用 25Gbps或100Gbps 以太網(wǎng)帶寬就可以滿足絕大多數(shù)應(yīng)用的需求。而 AI 時(shí)代的應(yīng)用負(fù)載與傳統(tǒng)業(yè)務(wù)有很大不同,當(dāng)前服務(wù)器集群的以太網(wǎng)互聯(lián)帶寬已經(jīng)越來越難滿足前面提到的 AI 時(shí)代的訓(xùn)練、推理等場景的需求。
云平臺(tái)必須通過新型的超高性能網(wǎng)絡(luò)把大量 GPU、CPU等多元算力連接在一起,并且用“對(duì)等架構(gòu)”替換掉傳統(tǒng)的“主從架構(gòu)”,讓多元算力可以直接通信,不需要通過 CPU,這樣才能滿足需求,這個(gè)能力是 AI 原生云基礎(chǔ)設(shè)施最重要的能力。
華為云新一代昇騰AI云服務(wù)基于CloudMatrix 384超節(jié)點(diǎn),首創(chuàng)將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網(wǎng)絡(luò)MatrixLink全對(duì)等互聯(lián),形成一臺(tái)超級(jí)“AI服務(wù)器”,單卡推理吞吐量躍升到2300 Tokens/s,與非超節(jié)點(diǎn)相比提升近4倍。
據(jù)悉,超節(jié)點(diǎn)架構(gòu)能更好地支持混合多專家MoE大模型的推理,可以實(shí)現(xiàn)“一卡一專家”,一個(gè)超節(jié)點(diǎn)可以支持384個(gè)專家并行推理,極大提升效率;同時(shí),超節(jié)點(diǎn)還可以支持“一卡一算子任務(wù)”,靈活分配資源,提升任務(wù)并行處理,減少等待,將算力有效使用率(MFU)提升50%以上。
對(duì)于萬億、十萬億參數(shù)的大模型訓(xùn)練任務(wù),在云數(shù)據(jù)中心,還能將432個(gè)超節(jié)點(diǎn)級(jí)聯(lián)成最高16萬卡的超大集群;同時(shí),超節(jié)點(diǎn)還可以支持訓(xùn)推算力一體部署,如“日推夜訓(xùn)”,訓(xùn)推算力可靈活分配,幫助客戶資源使用最優(yōu)。
昇騰AI云服務(wù)已為科大訊飛、新浪、硅基流動(dòng)、面壁智能、中科院、360等超過1300家客戶提供澎湃的AI算力。
基于國產(chǎn)算力,盤古大模型5.5全面升級(jí)
與其他大模型廠商,華為在大模型領(lǐng)域的戰(zhàn)略是聚焦行業(yè),通用大模型也是為了更好深入行業(yè)AI,盤古大模型的使命是讓各個(gè)行業(yè)不必重復(fù)“造輪子”,不必從零打造自己的企業(yè)大模型。基于此,華為云本次發(fā)布盤古大模型5.5,五大基礎(chǔ)模型全面升級(jí)。
首先是盤古自然語言處理NLP大模型,全新的718B 深度思考模型是一個(gè)由256個(gè)專家組成的MoE大模型,在知識(shí)推理、工具調(diào)用、數(shù)學(xué)等領(lǐng)域大幅增強(qiáng),處于業(yè)界第一梯隊(duì)。盤古大模型基于昇騰云的全棧軟硬件訓(xùn)練,標(biāo)志著基于昇騰可以打造出世界一流大模型。
同時(shí),盤古大模型5.5在高效長序列、低幻覺、快慢思考融合、Agent等特性上進(jìn)行升級(jí),例如,盤古提出了自適應(yīng)快慢思考合一的技術(shù),通過構(gòu)建難度感知的快慢思考數(shù)據(jù)和兩階段漸進(jìn)訓(xùn)練,實(shí)現(xiàn)模型根據(jù)問題難易程度自適應(yīng)地切換快慢思考,簡單問題敏捷回復(fù),復(fù)雜問題深度思考,整體模型推理效率提升8倍。
盤古深度研究DeepDiver通過長鏈難題合成、漸進(jìn)式獎(jiǎng)勵(lì)等關(guān)鍵技術(shù),可以在網(wǎng)頁搜索、常識(shí)性問答等應(yīng)用上獲得很高的執(zhí)行效率,如可以在5分鐘內(nèi)完成超過10跳的復(fù)雜問答、生成萬字以上的專業(yè)調(diào)研報(bào)告等,大幅提升工作效率。
面向行業(yè)企業(yè)客戶,華為云提供了盤古基礎(chǔ)及行業(yè)大模型、預(yù)訓(xùn)練和后訓(xùn)練語料、數(shù)據(jù)工程工具集、模型訓(xùn)練工具集、行業(yè)裁判模型、行業(yè)評(píng)測平臺(tái)六大核心能力,通過華為云ModelArts完備的工具鏈和工程化的方法,將企業(yè)自己沉淀的數(shù)據(jù)資產(chǎn),進(jìn)行高質(zhì)量的增訓(xùn)、微調(diào)和強(qiáng)化學(xué)習(xí),讓行業(yè)客戶能夠快速打造自己的專業(yè)大模型。
中國農(nóng)業(yè)科學(xué)院在盤古大模型基礎(chǔ)上,增訓(xùn)海量專業(yè)文獻(xiàn)與跨物種多組學(xué)數(shù)據(jù),構(gòu)建了面向育種領(lǐng)域的農(nóng)業(yè)科學(xué)發(fā)現(xiàn)大模型,實(shí)現(xiàn)精準(zhǔn)農(nóng)業(yè)專業(yè)知識(shí)問答、高效基因分析和定向位點(diǎn)設(shè)計(jì),縮短了早期研發(fā)周期,提升了目標(biāo)性狀改良精準(zhǔn)性。當(dāng)前,農(nóng)科院團(tuán)隊(duì)已基于該農(nóng)業(yè)科研智能系統(tǒng)成功地對(duì)一種水稻材料進(jìn)行了株型改良,株高較常規(guī)品種降低約25%,抗倒伏能力顯著提升,同時(shí)產(chǎn)量不受影響。
會(huì)上,張平安還發(fā)布盤古醫(yī)學(xué)、金融、政務(wù)、工業(yè)、汽車五個(gè)具備深度思考能力的行業(yè)自然語言大模型,加速行業(yè)智能化,并將在6月底正式上線。
基于盤古多模態(tài)大模型的世界模型,可以為智能駕駛、具身智能機(jī)器人的訓(xùn)練,構(gòu)建所需要的數(shù)字物理空間,實(shí)現(xiàn)持續(xù)優(yōu)化迭代;基于盤古大模型的多模態(tài)能力及思維能力,華為云正式發(fā)布CloudRobo具身智能平臺(tái);盤古預(yù)測大模型采用業(yè)界首創(chuàng)的triplet transformer統(tǒng)一預(yù)訓(xùn)練架構(gòu),極大地提升預(yù)測大模型的精度,并大幅提升跨行業(yè)、跨場景的泛化性。盤古科學(xué)計(jì)算大模型和盤古計(jì)算機(jī)視覺CV大模型也同步更新。
過去一年,盤古大模型已在30多個(gè)行業(yè)、500多個(gè)場景中落地,在政務(wù)、金融、制造、醫(yī)療、煤礦、鋼鐵、鐵路、自動(dòng)駕駛、氣象等領(lǐng)域發(fā)揮價(jià)值。
加碼AI云,發(fā)布企業(yè)級(jí)Agent平臺(tái)
除了幫助客戶更好地?fù)肀I,華為云也在不斷通過AI技術(shù)重塑云服務(wù),打造AI Native的云。華為云CTO張宇昕發(fā)布企業(yè)Agent平臺(tái)ModelArts Versatile,內(nèi)置了各類業(yè)務(wù)場景的經(jīng)驗(yàn)?zāi)0?,支持自助式的智能體開發(fā),Versatile還提供了智能化工具鏈,實(shí)現(xiàn)Agent分鐘級(jí)工作輸出,達(dá)成傳統(tǒng)人工天級(jí)工作成果,有效降低Agent開發(fā)的復(fù)雜度與專業(yè)性。
CodeArts Doer構(gòu)建了業(yè)界最全的6大開發(fā)領(lǐng)域?qū)I(yè)Agent,覆蓋項(xiàng)目經(jīng)理、產(chǎn)品管理、開發(fā)、構(gòu)建、測試和部署全流程,將軟件研發(fā)端到端提效40%以上;GaussDB Doer在精準(zhǔn)查詢方面,基于盤古大模型,利用全球上萬個(gè)GaussDB運(yùn)維案例的百億Tokens數(shù)據(jù)微調(diào),構(gòu)建專業(yè)運(yùn)維基模型;MetaStudio通過個(gè)性化TTS語音合成,數(shù)字人的音色相似度、讀音準(zhǔn)確率都達(dá)到業(yè)界領(lǐng)先。
此外,華為云提供包含語料數(shù)據(jù)安全、模型安全、推理安全、應(yīng)用安全在內(nèi)的端到端大模型安全方案。大模型防火墻通過提示詞攻擊防范和敏感內(nèi)容實(shí)時(shí)檢測,保障大模型推理安全。一方面識(shí)別越獄、角色扮演、惡意指令等主流提示詞攻擊手段;另一方面預(yù)置了百萬級(jí)規(guī)則庫,針對(duì)提示詞攻擊的檢出率大于95%,整體能夠幫助模型綜合安全評(píng)測得分提升20%以上。
華為云是華為公司面向開發(fā)者的統(tǒng)一底座,目標(biāo)打造昇騰、鴻蒙、鯤鵬、GaussDB、歐拉等各項(xiàng)根技術(shù)的生態(tài),目前華為云開發(fā)者已超過800萬,支持鯤鵬、昇騰、鴻蒙等生態(tài)的開發(fā)者總計(jì)達(dá)到1300萬。(本文首發(fā)于鈦媒體APP,作者 | 張帥,編輯 | 蓋虹達(dá))
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求,請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論