螞蟻集團(tuán)CTO何征宇:綠色高質(zhì)量軟件可緩解GPU焦慮
11月9日下午消息,在2023世界互聯(lián)網(wǎng)大會(huì)烏鎮(zhèn)峰會(huì)“數(shù)字化綠色化協(xié)同轉(zhuǎn)型發(fā)展”分論壇上,螞蟻集團(tuán)首席技術(shù)官何征宇表示,AI和大模型的爆發(fā)推高了智能算力需求,數(shù)字化、綠色化協(xié)同發(fā)展的使命,要求行業(yè)亟需構(gòu)建綠色、高質(zhì)量的計(jì)算基礎(chǔ)設(shè)施。
他呼吁行業(yè)加強(qiáng)軟硬協(xié)同與生態(tài)建設(shè),共同提升計(jì)算基礎(chǔ)設(shè)施算力規(guī)模、可用性與寬容度。
AI大模型時(shí)代,行業(yè)智能化的深度和廣度在擴(kuò)展,雙化協(xié)同也迎來提速?!按笳Z言模型與生成式AI讓計(jì)算機(jī)開始具備語言與內(nèi)容生產(chǎn)能力,將我們帶入了通用人工智能時(shí)代,承載這種能力的智能計(jì)算資源需求也隨之井噴,算力基礎(chǔ)設(shè)施的效率提升和綠色化是必經(jīng)之路”,何征宇表示。
據(jù)何征宇介紹,上周螞蟻百靈大模型正式通過了備案,螞蟻集團(tuán)搭建的綠色計(jì)算體系,也正在為百靈大模型提供綠色化的計(jì)算能力。螞蟻建設(shè)了萬卡異構(gòu)集群,其中硬件算力效率(HFU)超過60%,集群有效訓(xùn)練時(shí)長(zhǎng)占比90%以上,RLHF訓(xùn)練在同等模型效果下訓(xùn)練吞吐性能相較于業(yè)界方案提升3.59倍,推理性能相較于業(yè)界方案提升約2倍,處于業(yè)界先進(jìn)水平。
來源:中國(guó)電子企業(yè)協(xié)會(huì)