一文看懂MoE的前世今生，大模型的未來它說了算？
分類: 最新資訊
潛能詞典
編輯 : 潛能
發(fā)布 : 05-01
閱讀 :205
出品｜科技《態(tài)度》欄目作者｜薛世軒編輯｜丁廣勝所有的創(chuàng)新都有其現(xiàn)實驅(qū)動力。在互聯(lián)網(wǎng)巨頭的世界，這一驅(qū)動力就是成本。“降本增效”的邏輯貫穿著技術(shù)演進的始終，大模型架構(gòu)也不例外。目前，大模型的發(fā)展已經(jīng)到了一個瓶頸期，包括被業(yè)內(nèi)詬病的邏輯理解問題、數(shù)學(xué)推理能力等，想要解決這些問題就不得不繼續(xù)增加模型的復(fù)雜度。如何平衡大模型的訓(xùn)練難度和推理成本成為擺在各位玩家面前的難題。而MoE模型的日漸成熟為開發(fā)者們重新指引了前進的方向——通過改變模型底層架構(gòu)，換一種耗能低且訓(xùn)練和推理效果好的模型架構(gòu)進行大模型開發(fā)。一、MoE的前世今生：老樹又冒新芽MoE（Mixture-of-Experts，專家混合），首次出現(xiàn)于1991年的論文Adaptive Mixture of Local Experts中，其前身是“集成學(xué)習(xí)”（Ensemble Learning），作為一種由專家模型和門控模型組成稀疏門控制的深度學(xué)習(xí)技術(shù)，MoE由多個子模型（即專家）組成，每個子模型都是一個局部模型，專門處理輸入空間的一個子集。在“分而治之”的核心思想指導(dǎo)下，MoE 使用門控網(wǎng)絡(luò)來決定每個數(shù)據(jù)應(yīng)該被哪個模型去訓(xùn)練，從而減輕不同類型樣本之間的干擾。通俗來講，MoE就像復(fù)仇者聯(lián)盟，每個子模型（專家）都是一個超級英雄，門控網(wǎng)絡(luò)則是尼克·弗瑞，負責(zé)協(xié)調(diào)各個超級英雄，決定在什么情況下召喚哪位英雄。門控網(wǎng)絡(luò)會根據(jù)任務(wù)的特點，選擇最合適的專家進行處理，然后將各位專家的輸出匯總起來，給出最終的答案。門控功能“稀疏性”的引入讓MoE在處理輸入數(shù)據(jù)時只激活使用少數(shù)專家模型，大部分專家模型處于未激活狀態(tài)。換言之，只有擅長某一特定領(lǐng)域的超級英雄會被派遣，為用戶提供最專業(yè)的服務(wù)，而其他超級英雄則原地待命，靜待自己擅長的領(lǐng)域到來。這種“稀疏狀態(tài)”作為混合專家模型的重要優(yōu)勢，進一步提升了模型訓(xùn)練和推理過程的效率。MoE發(fā)展至今，離不開兩個研究領(lǐng)域?qū)ζ渌龅木薮筘暙I：專家作為關(guān)鍵組件與條件計算。
