①字節(jié)豆包大模型團隊已在內(nèi)部組建AGI長期研究團隊,代號“Seed Edge”; ②Seed Edge初步確定了五大研究方向,包括探索推理能力的邊界、探索感知能力的邊界、探索軟硬一體的下一代模型設(shè)計、探索下一代AI學(xué)習(xí)范式、探索下一個scaling方向。
《科創(chuàng)板日報》1月23日訊(記者 張洋洋)字節(jié)跳動AGI計劃正式浮出水面。
《科創(chuàng)板日報》記者了解到,字節(jié)豆包大模型團隊已在內(nèi)部組建AGI長期研究團隊,代號“Seed Edge”,鼓勵項目成員探索更長周期、具有不確定性和大膽的AGI研究課題。
接近字節(jié)的知情人士透露,Seed Edge的目標(biāo)是探索AGI的新方法,代號名中Seed是豆包大模型團隊名稱,Edge代表最前沿的AGI探索。Seed Edge鼓勵跨模態(tài)、跨團隊合作,為項目成員提供寬松的研究環(huán)境,實行采用更長周期的考核方式,以保障挑戰(zhàn)真正顛覆性的AGI課題。同時,Seed Edge也將得到單獨的算力資源保障。
根據(jù)披露,Seed Edge初步確定了五大研究方向,包括探索推理能力的邊界、探索感知能力的邊界、探索軟硬一體的下一代模型設(shè)計、探索下一代AI學(xué)習(xí)范式、探索下一個scaling方向。
這是字節(jié)第一次公開提及AGI的說法。一名字節(jié)人士告訴《科創(chuàng)板日報》記者,此前公司慎用AGI,在內(nèi)部也很少提到這種說法,“這個詞(AGI)幾乎不會在內(nèi)部出現(xiàn)”。
如今,Seed Edge的成立和AGI長期研究計劃的官宣,也意味著,字節(jié)跳動實現(xiàn)了從基礎(chǔ)研究、技術(shù)研發(fā)、產(chǎn)品應(yīng)用的全面布局,這家互聯(lián)網(wǎng)科技巨頭正以前所未有的戰(zhàn)略決心投入AI這片星辰大海。
從業(yè)界來看,因資源和能力的掣肘,目前不少團隊都在討論是否應(yīng)對AI預(yù)訓(xùn)練和基礎(chǔ)研究繼續(xù)投入。字節(jié)則是仍在加碼大模型底層研究,包括提供充分的算力資源、廣泛網(wǎng)羅頂尖研究人才,并打造長期主義的研究環(huán)境。
本周,多個字節(jié)跳動算力投資項目浮出水面。字節(jié)火山引擎長三角算力中心環(huán)評文件獲受理,總投資80億,設(shè)計服務(wù)器機柜數(shù)為21824臺,網(wǎng)絡(luò)機柜236臺,一座220kV變電站。
字節(jié)跳動火山云太行算力中心二期建設(shè)用地規(guī)劃許可證獲批,總投資45億元,項目總占地面積307.5畝,共規(guī)劃12kW服務(wù)器機柜15604臺,規(guī)劃網(wǎng)絡(luò)機柜510架,結(jié)束時間為2026年5月。
人才招攬上,此前字節(jié)跳動與阿里巴巴的人才爭奪戰(zhàn),已經(jīng)顯示出這家公司在這場AI戰(zhàn)役中的野心。據(jù)《科創(chuàng)板日報》記者了解,去年5月,為儲備最具潛力的研究人才,豆包大模型團隊還啟動了“Top Seed人才計劃”,以極具競爭力的待遇在全球招募頂尖博士畢業(yè)生加入。
模型技術(shù)和產(chǎn)品應(yīng)用層面,字節(jié)正在穩(wěn)定輸出更新。就在本周,豆包實現(xiàn)兩連更。兩天前,字節(jié)剛發(fā)布最新的“端到端”語音大模型,并基于該模型更新豆包APP的實時語音通話功能。
而在昨天,字節(jié)又發(fā)布融合多模態(tài)能力的豆包1.5 Pro 模型。這是一個高效MoE(混合專家系統(tǒng))架構(gòu)模型,并通過訓(xùn)練-推理一體化設(shè)計,探索模型性能和推理性能之間的極致平衡。字節(jié)稱 “用較小激活參數(shù),即可比肩一流超大稠密預(yù)訓(xùn)練模型的性能”。
“聚焦到遠(yuǎn)景戰(zhàn)略、企業(yè)文化、社會責(zé)任等長期重要的事情上去”,2021年5月,在張一鳴卸任字節(jié)跳動CEO之際,他如是說出自己接下里的打算。
探索AGI,如今已然成為他和字節(jié)跳動這家公司的“長期重要的事情”,他們追尋出的AGI邊界,也將影響著全球AI潮水的方向。