智譜AI CEO張鵬:大模型核心技術(shù)要堅(jiān)持自主創(chuàng)新|AI領(lǐng)先者心聲2024
原創(chuàng)
2024-01-04 17:39 星期四
科創(chuàng)板日?qǐng)?bào)記者 張洋洋
在AI大模型核心技術(shù)方面要堅(jiān)持自主創(chuàng)新,這是“買不來(lái),求不來(lái)”的。在商業(yè)化方面,要打造分層生態(tài)圈,聯(lián)手踏實(shí)落地,避免“重復(fù)造輪子”的內(nèi)耗。展望2024年,要想實(shí)現(xiàn)大模型發(fā)展的新高度,需要整個(gè)生態(tài)攜手,尋找新的可能,從而實(shí)現(xiàn)真正的突圍。

《科創(chuàng)板日?qǐng)?bào)》1月4日訊 (記者 張洋洋)ChatGPT的橫空出世,帶來(lái)2023年全球大模型熱潮。在2024年新年之際,財(cái)聯(lián)社、科創(chuàng)板日?qǐng)?bào)邀請(qǐng)人工智能領(lǐng)軍者與行業(yè)精英推出“2024·AI領(lǐng)先者心聲”系列報(bào)道,回顧過(guò)去的一年,展望新的一年AI大模型發(fā)展的機(jī)遇與挑戰(zhàn)。

AI大模型獨(dú)角獸智譜AI的CEO張鵬向《科創(chuàng)板日?qǐng)?bào)》記者表示:

在AI大模型核心技術(shù)方面要堅(jiān)持自主創(chuàng)新,這是“買不來(lái),求不來(lái)”的。在商業(yè)化方面,要打造分層生態(tài)圈,聯(lián)手踏實(shí)落地,避免“重復(fù)造輪子”的內(nèi)耗。

展望2024年,要想實(shí)現(xiàn)大模型發(fā)展的新高度,需要整個(gè)生態(tài)攜手,尋找新的可能,從而實(shí)現(xiàn)真正的突圍。

image

張鵬的“2024·AI領(lǐng)先者心聲”全文如下:

首先,在核心技術(shù)方面要堅(jiān)持自主創(chuàng)新,這是“買不來(lái),求不來(lái)”的。

國(guó)產(chǎn)大模型要實(shí)現(xiàn)自己的創(chuàng)新,就不能單純復(fù)制世界頂尖水平的技術(shù)路徑。從技術(shù)發(fā)展上來(lái)看,早期預(yù)訓(xùn)練模型有幾個(gè)類型,比如GPT、BERT還有T5,每個(gè)訓(xùn)練框架都有適合的某些任務(wù)和場(chǎng)景。在早期,BERT的效果比GPT-1和GPT-2更好,直到參數(shù)規(guī)模更大的GPT-3出現(xiàn)。它開(kāi)啟了基礎(chǔ)模型發(fā)展的新時(shí)代,其在語(yǔ)言生成、上下文學(xué)習(xí)和知識(shí)(常識(shí))理解等方面展現(xiàn)出驚人能力。但我們從2020年底,選擇了從0到1研發(fā)GLM預(yù)訓(xùn)練架構(gòu)。

當(dāng)時(shí)選擇該路徑的原因,是希望把不同預(yù)訓(xùn)練模型的優(yōu)勢(shì)組合到一起,還有一個(gè)更重要的原因是,當(dāng)時(shí)中國(guó)沒(méi)有自己的預(yù)訓(xùn)練模型框架。如今,從數(shù)據(jù)到訓(xùn)練集群運(yùn)維再到核心算法,智譜AI都實(shí)現(xiàn)了完全的自研,我們也將它視為智譜大模型彎道超車的起點(diǎn)。

實(shí)現(xiàn)國(guó)產(chǎn)大模型的突圍,就要正視國(guó)產(chǎn)大模型與國(guó)際領(lǐng)先水平的差距,也要有信心去追趕甚至超越。在我們眼里,GPT-4只是一個(gè)階段性的成果,它不是我們的終極目標(biāo)。我們的終極目標(biāo)和Open AI很接近,那就是實(shí)現(xiàn)通用人工智能。所以在很多選擇上,我們第一步就是虛心學(xué)習(xí)。他們做了很多創(chuàng)新,如果我們覺(jué)得有道理的,也要想辦法去實(shí)現(xiàn)。比如前段時(shí)間我們瞄向GPT-4V實(shí)現(xiàn)的技術(shù)升級(jí),包括:多模態(tài)理解能力的CogVLM、代碼增強(qiáng)模塊Code Interpreter、網(wǎng)絡(luò)搜索增強(qiáng)WebGLM等。國(guó)產(chǎn)大模型與國(guó)外大模型之間的差距依然存在,但我們也一直在不斷創(chuàng)新的路上。

在商業(yè)化方面,要打造分層生態(tài)圈,聯(lián)手踏實(shí)落地,避免”重復(fù)造輪子”的內(nèi)耗。

如今,中國(guó)大模型賽道正在從擁擠走向分層。大部分技術(shù)進(jìn)步大抵如此:新技術(shù)產(chǎn)生,大家一擁而上;當(dāng)技術(shù)發(fā)展到一定程度,自然而然地會(huì)沉淀,會(huì)分層——有些人解決底層的問(wèn)題,有些人解決中間的問(wèn)題,有些人解決上層的問(wèn)題——這是自然而然形成的,會(huì)變成相對(duì)穩(wěn)固而不是混亂的生態(tài),大家互相促進(jìn)。

我們希望做的,就是能用通用智能水平比較高的模型去賦能大家,讓大家去做行業(yè)應(yīng)用。所謂行業(yè)模型、通用模型之間的差別和關(guān)系到底是什么?我更愿意接受一種說(shuō)法,就是L0層(指基礎(chǔ)模型)、L1層(指行業(yè)模型)和L2層(面向更加細(xì)分場(chǎng)景的推理模型)。三者并不獨(dú)立,行業(yè)模型(L1)和細(xì)分場(chǎng)景的推理模型(L2)理論上來(lái)說(shuō)應(yīng)該是基于通用模型(L0)增強(qiáng)出來(lái)的。

基于此,我們也提出了大模型行業(yè)內(nèi)的首個(gè)合作伙伴計(jì)劃,面向生態(tài)開(kāi)放商業(yè)合作資源和底層技術(shù)能力,與全球頂尖合作伙伴共建千行百業(yè)大模型,打造產(chǎn)業(yè)智能新生態(tài)。我們做好L0的層面,賦能伙伴和客戶做好L1和L2。

我們認(rèn)為,國(guó)產(chǎn)大模型就是要依靠“做更適合中國(guó)企業(yè)的大模型”這樣強(qiáng)強(qiáng)聯(lián)手的方式來(lái)實(shí)現(xiàn)突圍。自2022年初,GLM系列模型已支持在昇騰、神威超算、海光DCU架構(gòu)上進(jìn)行大規(guī)模預(yù)訓(xùn)練和推理,當(dāng)前已支持10余種國(guó)產(chǎn)硬件生態(tài),包括昇騰、神威超算、海光DCU、海飛科、沐曦曦云、算能科技、天數(shù)智芯、寒武紀(jì)、摩爾線程、百度昆侖芯、靈汐科技、長(zhǎng)城超云等。通過(guò)與國(guó)產(chǎn)芯片企業(yè)的聯(lián)合創(chuàng)新,性能不斷優(yōu)化,期待有一天國(guó)產(chǎn)原生大模型與國(guó)產(chǎn)芯片能夠在國(guó)際舞臺(tái)上閃光。

最后,要打造開(kāi)發(fā)者生態(tài),通過(guò)開(kāi)源社區(qū)和人才培養(yǎng),實(shí)現(xiàn)行業(yè)可持續(xù)發(fā)展。

我們一直很重視開(kāi)源和開(kāi)發(fā)者生態(tài),因?yàn)檫@是保證一項(xiàng)技術(shù)的多樣性和可持續(xù)發(fā)展的重要源泉。

2022年8月,我們開(kāi)源了1300億參數(shù)規(guī)模的雙語(yǔ)預(yù)訓(xùn)練模型GLM-130B,收到了70余個(gè)國(guó)家1000余個(gè)研究機(jī)構(gòu)的使用需求;今年3月,我們打造了千億基座的對(duì)話模型ChatGLM,并開(kāi)源單卡版模型ChatGLM-6B。截至今天,我們的開(kāi)源模型全球下載已超千萬(wàn)、連續(xù)四周趨勢(shì)排行第一。為賦能開(kāi)源社區(qū)的發(fā)展ChatGLM-6B和ChatGLM2-6B權(quán)重對(duì)學(xué)術(shù)研究完全開(kāi)放,并且在完成企業(yè)登記獲得授權(quán)后,允許免費(fèi)商業(yè)使用。

在學(xué)術(shù)生態(tài)方面,我們與CCF和各大高校合作,設(shè)立首屆CCF-智譜大模型基金、全國(guó)師范院校新聞傳播專業(yè)大模型研究計(jì)劃、并贊助ICLR、WWW、KDD、ISWC、NeurIPS等國(guó)際學(xué)術(shù)會(huì)議,支持產(chǎn)學(xué)研生態(tài),資助大模型領(lǐng)域的學(xué)術(shù)研究。

智譜AI也組織了ChatGLM 實(shí)踐大賽(學(xué)術(shù)應(yīng)用篇)、ChatGLM金融大模型挑戰(zhàn)賽、智譜清言Prompt優(yōu)化會(huì)盟之旅,并合作主辦了AGI Playground Hackathon,為大模型在具體場(chǎng)景中的深入應(yīng)用探索更多可能性,鼓勵(lì)創(chuàng)新開(kāi)發(fā)和對(duì)大模型生產(chǎn)力工具的全新想象。這都是我們的一些嘗試和努力。

展望2024年,要想實(shí)現(xiàn)大模型發(fā)展的新高度,需要整個(gè)生態(tài)攜手,尋找新的可能。我們的注意力不能只放在市場(chǎng)中已知的這些“釘子”上,要去想有沒(méi)有可能產(chǎn)生新的定位。其實(shí)想想,錘子除了能用來(lái)把原來(lái)釘子砸一遍以外,其實(shí)還有一個(gè)可能性:用來(lái)砸墻,砸天花板。砸出來(lái)的窟窿,你會(huì)看到更多的空間,更多的釘子,從而實(shí)現(xiàn)真正的突圍之路。

我們對(duì)2024年充滿信心。

收藏
72.42W
我要評(píng)論
歡迎您發(fā)表有價(jià)值的評(píng)論,發(fā)布廣告和不和諧的評(píng)論都將會(huì)被刪除,您的賬號(hào)將禁止評(píng)論。
發(fā)表評(píng)論
要聞
股市
關(guān)聯(lián)話題
8853 人關(guān)注