近日，在OIF（開源基礎設施基金會）CFN（算力網(wǎng)絡）工作組會議上，中國移動研究院牽頭的異構(gòu)混合訓練技術(shù)子組通過立項評審，并獲得OIF基金會及產(chǎn)業(yè)伙伴的高度關(guān)注與支持。
當前大模型訓練任務基于同構(gòu)集群完成，隨著模型參數(shù)量劇增，存在兩大痛點問題，一是大規(guī)模集群與單廠商綁定存在技術(shù)棧封閉和供應鏈風險，二是已建異構(gòu)智算資源間存在“資源墻”難以聚合成池，導致混合集群資源利用率較低。為充分利用異構(gòu)算力資源，構(gòu)建智算融通生態(tài)，中國移動研究院牽頭在OIF CFN工作組成立異構(gòu)混合訓練技術(shù)子組。
去年，中國移動研究院針對該技術(shù)已發(fā)布智算“芯合”異構(gòu)混合并行訓練系統(tǒng)1.0，其具備基于ITD算法的3D并行非均勻切分和基于GDR的異構(gòu)芯片高速通信兩大能力，可突破異構(gòu)智算芯片間算力孤島問題，實現(xiàn)大模型在多廠商、多代際、多類型的混合智算集群上的規(guī)模訓練。
此次中國移動研究院在OIF CFN工作組成立的異構(gòu)混合訓練技術(shù)子組聚焦異構(gòu)混合訓練框架進行代碼開源，旨在通過社區(qū)項目吸引智算產(chǎn)業(yè)上下游合作伙伴適配、共建面向多種類大模型及智算芯片的通用訓練框架，實現(xiàn)構(gòu)建高效、高可用的大規(guī)模異構(gòu)混合訓練技術(shù)能力。
異構(gòu)混合訓練技術(shù)架構(gòu)
未來，中國移動將通過開源力量，與產(chǎn)學研用各界合作伙伴一起，推動不同廠家、不同架構(gòu)異構(gòu)智能算力間形成通用的異構(gòu)混合訓練框架，助力我國智算生態(tài)融通發(fā)展。
開源基礎設施基金會（OIF）由全球187個國家100,000余名社區(qū)成員組成，是當前全球最活躍的開源基金會之一，現(xiàn)已孵化OpenStack、Kata Container、StarlingX等成熟開源項目。2022年7月，中國移動研究院聯(lián)合國內(nèi)外主流設備商、云服務商在開源基礎設施基金會（OIF）主導成立“Computing Force Network Working Group”（算力網(wǎng)絡工作組），旨在凝聚產(chǎn)業(yè)力量，打造算力網(wǎng)絡關(guān)鍵領域的參考實現(xiàn)，降低產(chǎn)業(yè)準入門檻，加速推動算力網(wǎng)絡技術(shù)與產(chǎn)品成熟。 
