DeepSeek 的“開(kāi)源周”活動(dòng)今日已經(jīng)來(lái)到第二天，今天發(fā)布的是首個(gè)開(kāi)源的用于 MoE 模型訓(xùn)練和推理的 EP 通信庫(kù) ——DeepEP。

官方表示其具備如下特征：

高效優(yōu)化的全到全通信方式

支持節(jié)點(diǎn)內(nèi)外通信，兼容 NVLink 和 RDMA 技術(shù)

提供高吞吐量的內(nèi)核，提升訓(xùn)練和推理前期填充效率

提供低延遲內(nèi)核，優(yōu)化推理解碼速度

完全支持 FP8 數(shù)據(jù)格式調(diào)度

提供靈活的 GPU 資源管理，支持計(jì)算與通信的重疊執(zhí)行

據(jù)介紹，DeepEP 是一款專為混合專家（MoE）和專家并行（EP）設(shè)計(jì)的通信庫(kù)，提供了高吞吐量和低延遲的 all-to-all GPU 內(nèi)核，常用于 MoE 派發(fā)和合并操作。該庫(kù)還支持低精度計(jì)算，包括 FP8。

為了與 DeepSeek-V3 論文中提出的組限制門(mén)控算法兼容，DeepEP 提供了一些針對(duì)不對(duì)稱帶寬轉(zhuǎn)發(fā)優(yōu)化的內(nèi)核，比如將數(shù)據(jù)從 NVLink 域轉(zhuǎn)發(fā)到 RDMA 域。這些優(yōu)化的內(nèi)核能夠提供高吞吐量，適合用于訓(xùn)練和推理的預(yù)填充任務(wù)，同時(shí)支持 SM（流式多處理器）數(shù)量控制。

對(duì)于延遲敏感型的推理解碼任務(wù)，DeepEP 提供了一套低延遲內(nèi)核，采用純 RDMA 技術(shù)以最大程度減少延遲。此外，該庫(kù)還采用了一種基于 Hook 的通信與計(jì)算重疊方法，不會(huì)占用任何 SM 資源。

關(guān)注公眾號(hào)：拾黑（shiheibook）了解更多

友情鏈接：

關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/
安全、綠色軟件下載就上極速下載站：https://www.yaorank.com/