圖片系A(chǔ)I生成

大模型可能沒有永遠(yuǎn)的王者，只有更適合的下一個(gè)。繼DeepSeek-R1推理模型之后，算力供應(yīng)端押寶阿里巴巴千問QwQ-32B，被視作產(chǎn)業(yè)即將大規(guī)模落地的推理模型。

3月10日消息，國(guó)家超算互聯(lián)網(wǎng)平臺(tái)宣布接入阿里巴巴通義千問大模型，對(duì)外提供千問 QwQ-32B API服務(wù)，用戶可免費(fèi)獲得100萬 tokens。

不少國(guó)產(chǎn)算力廠商也已經(jīng)推出或正在計(jì)劃推出更適合QwQ-32B的算力部署模式。

此前，國(guó)產(chǎn)AI芯片廠商壁仞科技推出了基于壁礪TM106全系列一體機(jī)，全面支持QWQ-32B大模型推理；摩爾線程基于大語(yǔ)言模型高速推理框架 vLLM 以及 MT Transformer 推理引擎部署了 QwQ-32B。

中國(guó)RISC-V芯片公司算能的SophNet云平臺(tái)接入QwQ-32B模型，依托算能自研TPU，QwQ-32B的推理速度達(dá)75 Tokens/s；東南大學(xué)基于昇騰國(guó)產(chǎn)算力平臺(tái)，接入QwQ-32B模型，成為全國(guó)首個(gè)提供該服務(wù)的高校；青云科技旗下AI算力云也上線了 QwQ-32B。

業(yè)內(nèi)人士表示，作為推理模型，行業(yè)更關(guān)注QwQ-32B的性價(jià)比指標(biāo)，DeepSeek-R1客觀普及了大模型推理場(chǎng)景，之后的大模型必須提供更好的效果和成本數(shù)據(jù)，才能彌補(bǔ)DeepSeek-R1的替換成本。

據(jù)阿里巴巴官方信息，在冷啟動(dòng)基礎(chǔ)上，阿里通義團(tuán)隊(duì)針對(duì)數(shù)學(xué)和編程任務(wù)、通用能力分別進(jìn)行了兩輪大規(guī)模強(qiáng)化學(xué)習(xí)，在32B的模型尺寸上，既能提供極強(qiáng)的推理能力，又能滿足更低的資源消耗需求，適合快速響應(yīng)或?qū)?shù)據(jù)安全要求高的應(yīng)用場(chǎng)景，開發(fā)者和企業(yè)可以在消費(fèi)級(jí)硬件上輕松將其部署到本地設(shè)備中，進(jìn)一步打造高度定制化的 AI 解決方案。

在一系列權(quán)威基準(zhǔn)測(cè)試中，千問QwQ-32B 模型幾乎完全超越了OpenAI-o1-mini，比肩最強(qiáng)開源推理模型DeepSeek-R1：在測(cè)試數(shù)學(xué)能力的AIME24評(píng)測(cè)集上，以及評(píng)估代碼能力的LiveCodeBench中，千問QwQ-32B表現(xiàn)與DeepSeek-R1相當(dāng)，遠(yuǎn)勝于o1-mini及相同尺寸的R1蒸餾模型。

此外，千問QwQ-32B模型中還集成了與智能體 Agent 相關(guān)的能力，使其能夠在使用工具的同時(shí)進(jìn)行批判性思考，并根據(jù)環(huán)境反饋調(diào)整推理過程。

上述業(yè)內(nèi)人士還提到，DeepSeek火爆之后，業(yè)內(nèi)為了快速部署，大模型一體機(jī)市場(chǎng)快速爆發(fā)，但實(shí)際上，一體機(jī)可能并不是最適合DeepSeek-R1的部署模式。

不同于QwQ-32B的稠密架構(gòu)模型，DeepSeek走的是稀疏MoE模型路線，以滿血版R1為例，6710億參數(shù)至少要占據(jù)671GB顯存，為了支持輸入/輸出、過程數(shù)據(jù)等，還需要更多顯存空間來存放，但在每次推理時(shí)，6710億參數(shù)中只有370參數(shù)被激活，這意味著一體機(jī)中大量算力沒有高效使用。

而且對(duì)于國(guó)產(chǎn)芯片來說，DeepSeek-R1的開源讓行業(yè)對(duì)國(guó)產(chǎn)大模型信心更盛，QwQ-32B則是更大的算力利好，QwQ-32B遵循Apache 2.0協(xié)議開源，消費(fèi)級(jí)顯卡可部署，國(guó)產(chǎn)芯片即便比不上英偉達(dá)GPU，但是在做好兼容適配的前提下，已經(jīng)能夠滿足更多個(gè)人開發(fā)者和中小企業(yè)極低成本接入頂級(jí)模型的訴求。

一位云計(jì)算行業(yè)分析師表示，自 ChatGPT 推出以來，生成式AI至少貢獻(xiàn)了云服務(wù)收入增長(zhǎng)的一半，這些收入要么來自新推出的大模型/GPU 服務(wù)，要么來自人工智能驅(qū)動(dòng)的對(duì)現(xiàn)有云服務(wù)的改進(jìn)。AI 不再是云計(jì)算的應(yīng)用子集，而是驅(qū)動(dòng)云戰(zhàn)略演進(jìn)的核心。

從大模型與算力的相互促進(jìn)的角度，大模型從技術(shù)摸高走向“技術(shù)摸高+工程創(chuàng)新”并行 ，算力結(jié)構(gòu)從“預(yù)訓(xùn)練” 走向 “預(yù)訓(xùn)練 + 后訓(xùn)練 + 推理”，算力需求仍將持續(xù)增長(zhǎng)

以阿里云為例，目前遵循“AI驅(qū)動(dòng)，公共云優(yōu)先”的戰(zhàn)略，開源的千問大模型是云計(jì)算的抓手。在最新一季的阿里云財(cái)報(bào)中，AI收入已連續(xù)六個(gè)季度三位數(shù)增長(zhǎng)，并推動(dòng)云收入重回13%的雙位數(shù)增長(zhǎng)，達(dá)到317億元，相比上一季度7%的增速接近翻倍。云+AI的估值邏輯，帶動(dòng)阿里巴巴年內(nèi)股價(jià)漲幅近60%，市值狂飆逾1100億美元。

通過開源，阿里通義千問已經(jīng)成為國(guó)產(chǎn)算力平臺(tái)支持最多的大模型之一，并且在海外被Camel.AI、SambaNova Cloud、OpenRouter、ChatLLM、Together.AI、LM Studio部署上云，對(duì)外提供API服務(wù)。

目前，通義千問穩(wěn)居全球最大AI社區(qū)HuggingFace熱門大模型榜首，千問衍生模型超10萬個(gè)，超越美國(guó)llama成為全球采用最廣泛的AI大模型。（本文首發(fā)于鈦媒體APP，作者 | 張帥，編輯 | 蓋虹達(dá)）