2月27日消息，今天是DeepSeek開(kāi)源周第四日，不同于前三日早早就發(fā)出的開(kāi)源項(xiàng)目。

今天DeepSeek公布開(kāi)源項(xiàng)目，比平日稍微晚些，讓關(guān)注者們等的稍微有點(diǎn)著急，包括小編在內(nèi)。

但是等待的結(jié)果總是值得的，這不今天公布了兩項(xiàng)開(kāi)源內(nèi)容。話(huà)不多說(shuō)，轉(zhuǎn)入正題。

今天DeepSeek發(fā)布了DualPipe（雙向管道并行算法）和EPLB（專(zhuān)家并行負(fù)載均衡器）。

據(jù)DeepSeek介紹，DualPipe是一項(xiàng)在DeepSeek-V3技術(shù)報(bào)告中引入的雙向管道等值算法，它實(shí)現(xiàn)了向后和向后計(jì)算通信階段的雙向重疊，顯著減少訓(xùn)練空閑時(shí)間。

同時(shí)，流水線氣泡優(yōu)化這一創(chuàng)新調(diào)度策略，降低傳統(tǒng)管道并行中的“氣泡”問(wèn)題，有效提升硬件資源利用率。在GitHub上，目前該算法已經(jīng)獲得544個(gè)Star收藏。

另外，在此談一談EPLB（專(zhuān)家并行負(fù)載均衡器）。

EPLB（專(zhuān)家并行負(fù)載均衡器）具有動(dòng)態(tài)負(fù)載均衡、分層與全局平衡結(jié)合、流量?jī)?yōu)化的特點(diǎn)。

具體來(lái)看，動(dòng)態(tài)負(fù)載均衡是基于混合專(zhuān)家（MoE）架構(gòu)，通過(guò)冗余專(zhuān)家策略復(fù)制高負(fù)載專(zhuān)家，并采用啟發(fā)式分配算法優(yōu)化GPU間的負(fù)載均衡；

另外在分層與全局平衡結(jié)合方面，它既支持單個(gè)節(jié)點(diǎn)的分層負(fù)載管理，也實(shí)現(xiàn)跨節(jié)點(diǎn)的全局負(fù)載平衡，減少GPU閑置。

此外在流量?jī)?yōu)化上，可在平衡負(fù)載的同時(shí)，通過(guò)調(diào)整專(zhuān)家分布降低節(jié)點(diǎn)間通信數(shù)據(jù)量，提升整體訓(xùn)練效率。