近日，字節(jié)跳動(dòng)正式發(fā)布基于以太網(wǎng)極致優(yōu)化的 GPU Scale-up 互聯(lián)技術(shù)白皮書，推出 EthLink 的創(chuàng)新網(wǎng)絡(luò)方案，旨在為 AI 集群提供低延遲、高帶寬的高速互聯(lián)傳輸，滿足 AI 應(yīng)用對(duì) GPU 之間高效通信的需求。
隨著 LLM 的參數(shù)規(guī)模和算力需求呈指數(shù)級(jí)增長，構(gòu)建超大規(guī)模的 GPU 集群已成為行業(yè)共識(shí)。在 GPU 萬卡集群中，存在著 Scale-up 和 Scale-out 兩種互聯(lián)域，分別負(fù)責(zé)節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間的高效數(shù)據(jù)傳輸。其中，Scale-up 互聯(lián)域尤為關(guān)鍵，它要求在單臺(tái)服務(wù)器和 AI Rack 內(nèi)實(shí)現(xiàn) 8 卡及以上 GPU 的高帶寬、低時(shí)延互聯(lián)，為模型的張量并行（TP）和專家并行（EP）提供支持。
在此背景下，字節(jié)跳動(dòng)提出的 EthLink 方案基于原生以太網(wǎng)進(jìn)行了極致優(yōu)化，具備獨(dú)特的技術(shù)優(yōu)勢。該方案允許 GPU 通過 Load/Store 內(nèi)存語義執(zhí)行同步操作，實(shí)現(xiàn)小塊數(shù)據(jù)的高效傳輸，適用于對(duì)數(shù)據(jù)傳輸時(shí)延敏感的應(yīng)用場景；GPU 還能通過 RDMA 消息語義執(zhí)行異步操作，完成大塊數(shù)據(jù)的快速傳輸，滿足帶寬需求大、對(duì)時(shí)延不敏感的數(shù)據(jù)應(yīng)用。
與傳統(tǒng)的 Scale-up 互聯(lián)技術(shù)相比，以太網(wǎng)在構(gòu)建 AI 網(wǎng)絡(luò)架構(gòu)方面具有顯著優(yōu)勢，包括超高速鏈路、超大容量交換機(jī)、成熟的生態(tài)系統(tǒng)以及易于操作的運(yùn)維體系。盡管多個(gè)行業(yè)組織已在 AI 網(wǎng)絡(luò)技術(shù)開發(fā)方面展開探索，但基于以太網(wǎng)極致優(yōu)化的 AI Scale-up 互聯(lián)體系在業(yè)界一直處于空白狀態(tài)。字節(jié)跳動(dòng)的 EthLink 方案填補(bǔ)了這一空白，為 GPU 超節(jié)點(diǎn)提供了全新的高速互聯(lián)通道。
展望未來，字節(jié)跳動(dòng)計(jì)劃聯(lián)合產(chǎn)業(yè)合作伙伴，共同構(gòu)建基于以太網(wǎng)的 Scale-up 網(wǎng)絡(luò)生態(tài)，進(jìn)一步完善 EthLink 技術(shù)體系。
字節(jié)跳動(dòng)發(fā)布的 EthLink 方案及白皮書，將為 AI 行業(yè)的發(fā)展注入新的活力。隨著相關(guān)技術(shù)的不斷完善和生態(tài)系統(tǒng)的逐步建立，AI 應(yīng)用的性能和效率將得到進(jìn)一步提升，為通用人工智能的實(shí)現(xiàn)奠定更加堅(jiān)實(shí)的基礎(chǔ)。 
