①OpenAI聯(lián)合創(chuàng)始人Ilya Sutskever指出，數(shù)據(jù)資源耗盡，下一代AI模型將是真正的AI Agent，且具備推理能力。 ②OpenAI近期發(fā)布的o1模型，最突出的一項(xiàng)性能便是“會(huì)推理思考”。 ③推理計(jì)算的需求甚至可以達(dá)到訓(xùn)練計(jì)算的4.5倍，ASIC定制化芯片有望崛起。
《科創(chuàng)板日?qǐng)?bào)》12月16日訊 ChatGPT面世兩年多以來(lái)，AI的主戰(zhàn)場(chǎng)正在轉(zhuǎn)向，從訓(xùn)練端轉(zhuǎn)向一個(gè)規(guī)模更大、競(jìng)爭(zhēng)更為激烈的領(lǐng)域：推理。推理被視作AI大模型的“下半場(chǎng)”，在上半場(chǎng)中，競(jìng)爭(zhēng)聚焦于快速預(yù)訓(xùn)練響應(yīng)，而如今，AI推理時(shí)代正在漸漸逼近，更多目光開(kāi)始投向了慢速深度推理。
“AI預(yù)訓(xùn)練時(shí)代無(wú)疑將終結(jié)?！?/strong>在溫哥華NeurIPS大會(huì)上，OpenAI聯(lián)合創(chuàng)始人兼前首席科學(xué)家伊利亞?蘇茨克維爾（Ilya Sutskever）直言。
今年5月離開(kāi)OpenAI之后，Ilya Sutskever創(chuàng)立了自己的AI實(shí)驗(yàn)室Safe Superintelligence，之后他鮮少公開(kāi)露面，直至這一次亮相。
Ilya Sutskever在這場(chǎng)演講中將數(shù)據(jù)比作化石燃料，而燃料終將耗盡。“算力在增長(zhǎng)，但數(shù)據(jù)卻沒(méi)有增長(zhǎng)，因?yàn)槲覀冎挥幸粋€(gè)互聯(lián)網(wǎng)……我們已經(jīng)達(dá)到了數(shù)據(jù)峰值，不會(huì)再有更多數(shù)據(jù)了，我們必須處理好現(xiàn)有的數(shù)據(jù)。”
現(xiàn)有數(shù)據(jù)仍可推動(dòng)AI進(jìn)一步發(fā)展，業(yè)內(nèi)也正在竭力挖掘新數(shù)據(jù)進(jìn)行訓(xùn)練，這種情況最終將迫使行業(yè)改變目前的AI模型訓(xùn)練方式。
其預(yù)計(jì)，下一代AI模型將是真正的AI Agent，且具備推理能力——目前的AI主要根據(jù)大模型之前學(xué)習(xí)過(guò)的內(nèi)容進(jìn)行匹配，而未來(lái)的AI則能以更接近思考的方式來(lái)一步步解決問(wèn)題。“它們能根據(jù)有限的數(shù)據(jù)理解事物，也不會(huì)感覺(jué)困惑?！彼a(bǔ)充，AI推理得越多，就越難以預(yù)測(cè)。
一定程度來(lái)說(shuō)，Ilya Sutskever的說(shuō)法與OpenAI不久前的表態(tài)與最新動(dòng)向不謀而合——用推理彌補(bǔ)數(shù)據(jù)瓶頸。
在11月末的一場(chǎng)路邊談話中，OpenAI高級(jí)研究副總裁Mark Chen否認(rèn)了“Scaling Law撞墻”。他表示，“我們準(zhǔn)確地掌握了需要解決的技術(shù)挑戰(zhàn)”，OpenAI已經(jīng)有o系列和GPT系列兩個(gè)模型，來(lái)讓模型繼續(xù)保持Scaling。
其中，OpenAI近日發(fā)布的o1模型就是推理模型。其最突出的地方便在于“會(huì)推理”：在給出回答之前，o1會(huì)思考，通過(guò)產(chǎn)生一個(gè)很長(zhǎng)的內(nèi)部思維鏈（CoT），逐步推理，模仿人類(lèi)思考復(fù)雜問(wèn)題的過(guò)程。
這個(gè)過(guò)程也與Ilya Sutskever所說(shuō)的“以更接近思考的方式來(lái)一步步解決問(wèn)題”更加貼合。
或許對(duì)于一般用戶而言，o1模型的這種轉(zhuǎn)變不易察覺(jué)，但The Atlantic指出，研究人員已認(rèn)識(shí)到，與GPT等舊模型相比，o1模型不僅僅是一次簡(jiǎn)單的升級(jí)，而是標(biāo)志著一個(gè)“完全不同的游戲規(guī)則”和“真正的進(jìn)步”。
▌AI推理時(shí)代來(lái)了？
預(yù)訓(xùn)練時(shí)代或許行將落幕，而在AI算力“蹺蹺板”的另一頭，推理正在崛起。
近幾日多家券商研報(bào)都指出，隨著端側(cè)AI放量，豆包、ChatGPT等AI應(yīng)用快速發(fā)展，算力需求會(huì)加速?gòu)念A(yù)訓(xùn)練向推理側(cè)傾斜，推理有望接力訓(xùn)練，成為下一階段算力需求的主要驅(qū)動(dòng)力。
進(jìn)一步來(lái)說(shuō)，隨著大規(guī)模AI模型普及，推理需求不斷擴(kuò)大并趨于多樣化，定制化芯片的需求也有望擴(kuò)大。
巴克萊的另一份報(bào)告預(yù)計(jì)，AI推理計(jì)算需求將快速提升，預(yù)計(jì)其將占通用人工智能總計(jì)算需求的70%以上，推理計(jì)算的需求甚至可以超過(guò)訓(xùn)練計(jì)算需求，達(dá)到后者的4.5倍。英偉達(dá)GPU目前在推理市場(chǎng)中市占率約80%，但隨著大型科技公司定制化ASIC芯片不斷涌現(xiàn)，這一比例有望在2028年下降至50%左右。
博通上周發(fā)布的財(cái)報(bào)也已證明了ASIC的需求之旺盛：2024財(cái)年公司的人工智能收入增長(zhǎng)220%，達(dá)到122億美元；其預(yù)計(jì)AI產(chǎn)品收入將在2025財(cái)年第一財(cái)季同比增長(zhǎng)65%。博通還透露，目前正在與三個(gè)非常大型的客戶開(kāi)發(fā)AI芯片，預(yù)計(jì)明年公司AI芯片的市場(chǎng)規(guī)模為150億-200億美元。
隨著谷歌、AWS等科技巨頭紛紛加大對(duì)定制化AI芯片的研發(fā)投入，以強(qiáng)化在人工智能領(lǐng)域的技術(shù)優(yōu)勢(shì)和供應(yīng)鏈控制力，國(guó)金證券今日研報(bào)指出，這一趨勢(shì)不僅助力企業(yè)應(yīng)對(duì)日益復(fù)雜的 AI 需求，還推動(dòng)了整個(gè)自研芯片賽道的高景氣度和持續(xù)創(chuàng)新。未來(lái)，自研芯片將在 AI 推理和訓(xùn)練領(lǐng)域扮演關(guān)鍵角色，成為降本增效和提升算力的重要手段。
