近日，阿裏雲機器學習平台PAI主導的論文《Whale: Efficient Giant Model Training over Heterogeneous GPUs》，高效大模型訓練框架Whale入選USENIX ATC'22。Whale通過對不同並行化策略進行統一抽象、封裝，在一套分布式訓練框架中支持多種並行策略，並進行顯存、計算、通信等全方位的優化，來提供易用、高效的分布式訓練框架。
USENIX Annul Technical Conference (USENIX ATC)，是計算機係統領域國際頂級學術會議 (CCF-A)，自1992年舉辦第一屆USENIX ATC會議以來，至今已成功舉辦30多屆，在學術和工業界都有巨大的影響力。USENIX ATC2022將於2022年7月11日召開。此次入選意味著阿裏雲機器學習平台PAI自研的深度學習分布式模型訓練係統達到了全球業界先進水平，獲得了國際學者的認可，展現了中國機器學習係統蜜桃视频无码創新在國際上的競爭力。
Whale是阿裏雲機器學習PAI平台自研的高效、通用、硬件感知的大模型分布式訓練框架，現已開源，開源後的名稱是EPL(Easy Parallel Library)。Whale通過統一的策略抽象來實現各種分布式策略的表達，並通過硬件感知和自動計算圖改寫及優化完成高效的分布式模型實現。
隨著模型參數規模飛速增長，模型效果也在逐步提高，但同時也為訓練框架帶來更大的挑戰。當前的業界分布式訓練框架隻支持少量的並行策略，缺乏一個統一的抽象來支持所有的並行策略及其混合策略。同時實現複雜的並行策略需要大量的模型代碼改造和對底層係統的理解，大大增加了用戶的使用難度。由於集群中異構GPU計算能力和顯存的差異，靜態的並行化策略無法充分利用異構資源實現高效訓練。
針對這些問題，Whale抽象並定義了兩個分布式原語(replicate和split) 。用戶可以通過在模型上添加幾行原語標記，即來表達和轉換各種並行化策略及其組合，極大降低了分布式框架的使用門檻。Whale runtime將用戶的標記信息融合到計算圖中，自動完成模型的並行化優化。同時Whale提供了基於硬件感知的自動化分布式並行策略，優化在異構GPU集群上分布式訓練性能。Whale的設計很好地平衡了模型用戶的幹預和係統優化機會，讓每一個算法工程師都能輕鬆高效訓練分布式大模型任務。借助Whale，阿裏達摩院M6模型使用512張V100 GPU在10天內即可完成10萬億多模態預訓練模型。
Whale起源於阿裏內部業務，在阿裏內部已經支持圖像、推薦、語音、視頻、自然語言、多模態等業務場景。並且能無感支持模型規模橫向擴展，最大完成了10萬億規模的M6模型訓練。同時Whale已經集成在阿裏雲機器學習平台PAI中，大家可以在阿裏雲PAI平台上使用Whale。機器學習平台PAI是麵向開發者和企業的AI工程化平台，提供了覆蓋數據準備、模型開發、模型訓練、模型部署的全流程服務。
Whale(EPL)開源地址(http://github.com/alibaba/EasyParallelLibrary)，歡迎大家來試用和給出建議。
論文名稱：Whale: Efficient Giant Model Training over Heterogeneous GPUs
論文作者：賈賢豔，江樂，王昂，肖文聰，石子驥，張傑，李昕元，陳浪石，李永，鄭禎，劉小勇，林偉
開源鏈接：http://github.com/alibaba/easyparallellibrary
論文鏈接：http://www.usenix.org/conference/atc22/presentation/jia-xianyan
星空人工智能蜜桃视频无码網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com蜜桃AV无码一区二区三区將及時溝通與處理。！：首頁 > 新聞 » 阿裏雲機器學習平台PAI論文高效大模型訓練框架Whale入選USENIX ATC'22