日前，兩家啟明創(chuàng)投投資企業(yè)無(wú)問(wèn)芯穹與壁仞科技在千卡訓(xùn)練集群領(lǐng)域取得技術(shù)新突破。基于壁仞科技GPU千卡訓(xùn)練集群，結(jié)合無(wú)問(wèn)芯穹大模型訓(xùn)練引擎與壁仞科技SUPA軟件工具鏈，雙方協(xié)力實(shí)現(xiàn)了集群訓(xùn)練性能快速優(yōu)化，成功在壁仞科技GPU集群上，將大語(yǔ)言模型（LLM）訓(xùn)練效能提升近1倍。
無(wú)問(wèn)芯穹大模型訓(xùn)練引擎面向國(guó)產(chǎn)集群大規(guī)模并行訓(xùn)練性能優(yōu)化的場(chǎng)景，以公有云平臺(tái)訓(xùn)練鏡像的方式或私有化部署的模式提供服務(wù)，可大幅縮短訓(xùn)練時(shí)長(zhǎng)、提升集群利用率，該引擎支持主流模型結(jié)構(gòu)，兼容多元硬件集群，具備遷移便利、優(yōu)化快速等優(yōu)勢(shì)。
目前，壁仞科技的千卡規(guī)模訓(xùn)練集群已成功在無(wú)問(wèn)芯穹Infini-AI異構(gòu)云平臺(tái)（cloud.infini-ai.com）上納管和調(diào)度，實(shí)現(xiàn)并完整驗(yàn)證了彈性容錯(cuò)、異常節(jié)點(diǎn)探測(cè)、檢查點(diǎn)保存與加載、斷點(diǎn)續(xù)訓(xùn)四大功能。
此外，壁仞科技的“壁礪106系列”和“壁礪110系列”GPU產(chǎn)品已完成與無(wú)問(wèn)芯穹Infini-AI異構(gòu)云平臺(tái)的全面接入。其中，壁仞科技最新發(fā)布的高性能、低功耗壁礪110E推理卡也已在Infini-AI異構(gòu)云平臺(tái)的大模型服務(wù)平臺(tái)上線。官方數(shù)據(jù)顯示，在大模型推理服務(wù)方面，壁礪110E推理卡具有高性能、低功耗的優(yōu)秀特性，在同機(jī)架高度下，AI算力密度最高可達(dá)到市場(chǎng)主流云端PCIE8卡服務(wù)器方案的1.3倍以上，能耗節(jié)省達(dá)70%，可顯著降低整體系統(tǒng)的總擁有成本（Total Cost of Ownership, TCO）。
無(wú)問(wèn)芯穹大模型服務(wù)平臺(tái)基于異構(gòu)推理加速，為大模型應(yīng)用開(kāi)發(fā)者提供數(shù)據(jù)處理、微調(diào)、推理等快速便捷的模型調(diào)用API，現(xiàn)已上架包括CogVideoX 2B、Llama 3.1 70B、Qwen2 72B、GLM4 9B、Stable Diffusion在內(nèi)的多種大語(yǔ)言模型、文生圖及文生視頻模型。當(dāng)前，通過(guò)無(wú)問(wèn)芯穹大模型服務(wù)平臺(tái)調(diào)用各種開(kāi)放API的同時(shí)，也已可調(diào)用壁礪110E推理卡，支持各種大語(yǔ)言模型、多模態(tài)模型的云上推理，為商業(yè)級(jí)用戶業(yè)務(wù)提供充沛的算力支撐。
憑借長(zhǎng)期在多元異構(gòu)算力激活以及軟硬件聯(lián)合優(yōu)化等方面的專業(yè)深耕，無(wú)問(wèn)芯穹打造了連接“M種模型”和“N種芯片”的“M×N”AI基礎(chǔ)設(shè)施新范式，已實(shí)現(xiàn)多種大模型算法在多元芯片上的高效協(xié)同部署，在國(guó)產(chǎn)算力集群效能提升技術(shù)上積累了顯著優(yōu)勢(shì)。2024年3月，無(wú)問(wèn)芯穹首次發(fā)布了能夠支持多種模型在多種芯片上高效推理的異構(gòu)云平臺(tái)Infini-AI。今年7月，無(wú)問(wèn)芯穹Infini-AI異構(gòu)云平臺(tái)又成為了全球首個(gè)支持單任務(wù)千卡規(guī)模異構(gòu)芯片混合訓(xùn)練的平臺(tái)，具備萬(wàn)卡擴(kuò)展性，支持包括AMD、華為昇騰、天數(shù)智芯、沐曦、摩爾線程、NVIDIA六種芯片在內(nèi)的大模型混訓(xùn)，可一鍵發(fā)起700億參數(shù)大模型訓(xùn)練。
此次無(wú)問(wèn)芯穹與壁仞科技在壁仞千卡訓(xùn)練集群上聯(lián)合攻關(guān)，取得了近1倍的效能提升，是國(guó)產(chǎn)算力生態(tài)共建進(jìn)程中的一座重要里程碑。未來(lái)，無(wú)問(wèn)芯穹將與壁仞科技繼續(xù)攜手，在大規(guī)模自主可控智能算力集群優(yōu)化與運(yùn)營(yíng)等方面深化合作，進(jìn)一步提升面向商業(yè)化算力客戶場(chǎng)景的聯(lián)合服務(wù)能力。
