91精品国久久久久久无码免费,大秀福利网

APP下載

掃一掃

下載觀察者APP

DeepSeek“開源周”，連續(xù)掏出兩大核心武器
- 張廣凱13764468101
分享到：

2025-02-25 11:47:31 字號：A- A A+ 來源：觀察者網(wǎng)

今天是DeepSeek“開源周”第二日，DeepSeek宣布開源DeepEP，第一個用于MoE模型訓練和推理的開源EP通信庫。

昨天，DeepSeek則開源了代碼庫Flash MLA，這是針對Hopper GPU優(yōu)化的高效MLA解碼內(nèi)核，針對可變長度序列作了優(yōu)化。

MoE（混合專家架構(gòu)）和MLA（多頭潛在注意力機制）被認為是DeepSeek以低成本實現(xiàn)杰出表現(xiàn)的核心原因。

簡單理解，MoE架構(gòu)是由多個專注于垂直技能的專家模型分工協(xié)作來實現(xiàn)最終輸出結(jié)果，訓練成本和推理成本更低。有消息稱，GPT-4就使用了MoE架構(gòu)，由8個220B模型組成。但MoE架構(gòu)的缺點之一是會增加通信成本。

DeepEP通信庫就是針對通信環(huán)節(jié)的優(yōu)化，其特點包括：高效、優(yōu)化的全員溝通；節(jié)點內(nèi)和節(jié)點間均支持 NVLink 和 RDMA；用于訓練和推理預填充的高吞吐量內(nèi)核；用于推理解碼的低延遲內(nèi)核；原生 FP8 調(diào)度支持；靈活的 GPU 資源控制，實現(xiàn)計算-通信重疊。

MLA則是讓模型預測更遠位置的token，從而增強語義理解能力。DeepSeek的Flash MLA專為英偉達Hopper GPU打造了高效MLA解碼內(nèi)核，特別針對變長序列進行了優(yōu)化。
本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
|

舉報
- 違反法律法規(guī)
- 垃圾信息、廣告
- 色情、淫穢信息
- 人身攻擊
- 謠言、不實信息
- 冒充，冒用信息
- 破壞社區(qū)秩序
- 其他
- 涉未成年人有害信息
觀察者網(wǎng)舉報制度規(guī)范
確定取消
標簽
- 責任編輯: 張廣凱
- DeepSeek帶動英偉達在華訂單大增？
  
  2025-02-25 11:11 觀網(wǎng)財經(jīng)-科創(chuàng)
- 經(jīng)濟數(shù)據(jù)引發(fā)美國科技股再跳水，熱門中概股大幅回落
  
  2025-02-25 11:07 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng)
- 國產(chǎn)GPU廠商被曝考慮赴港IPO，擬募資3億美元
  
  2025-02-25 10:12 觀網(wǎng)財經(jīng)-科創(chuàng)
- 今日頭條2024年攔截不實信息超500萬條，處置不友善內(nèi)容3億條
  
  2025-02-24 22:12 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng)
- 京東：外賣騎手五險一金的所有成本，全部由京東承擔
  
  2025-02-24 18:39 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng)
- 蘋果推出超低配iPhone16e的原因找到了？
  
  2025-02-24 18:26 手機
- ?公開指責字節(jié)旗下紅果短劇壟斷，愛奇藝因何焦慮？
  
  2025-02-24 18:21 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng)
- 茶咖日報｜霸王茶姬發(fā)起青年藝術(shù)共創(chuàng)計劃；喜茶攜手Adyen加速全球支付布局
  
  2025-02-24 18:05 觀網(wǎng)財經(jīng)-消費
- 首款為原生鴻蒙而生的手機3月發(fā)布，騰訊回應余承東
  
  2025-02-24 16:27 觀網(wǎng)財經(jīng)-科創(chuàng)
- 喜茶海外首家LAB店落地紐約，美國門店已超20家
  
  2025-02-24 16:15 觀網(wǎng)財經(jīng)-消費
- 工信部副部長熊繼軍：加快完善我國開源生態(tài)體系建設(shè)
  
  2025-02-24 14:20 觀網(wǎng)財經(jīng)-科創(chuàng)
- 超百億加碼+深度創(chuàng)新，SHEIN鏈深耕服裝產(chǎn)業(yè)升級
  
  2025-02-24 13:47
- 事關(guān)AI，阿里宣布：將投3800億
  
  2025-02-24 10:46 人工智能
- 全球開發(fā)者先鋒大會在上海開幕，有哪些看點？
  
  2025-02-22 22:55 觀網(wǎng)財經(jīng)-科創(chuàng)
- 黃仁勛首度回應DeepSeek沖擊
  
  2025-02-22 20:49 人工智能
- 沈向洋談DeepSeek：開源和閉源不是對立的商業(yè)模式
  
  2025-02-22 19:32 觀網(wǎng)財經(jīng)-科創(chuàng)
- 元寶下載量僅次于DeepSeek！騰訊股價創(chuàng)近4年來新高
  
  2025-02-22 18:27 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng)
- 道指跌超700點，中概股逆勢上漲
  
  2025-02-22 11:41
- 全球折疊屏出貨罕見大跌18%：華為超三星成第一，榮耀聯(lián)想進前五
  
  2025-02-21 21:58 觀網(wǎng)財經(jīng)-科創(chuàng)
- 僅僅10年前，中國游客還在東京秋葉原搶馬桶蓋
  
  2025-02-21 21:10 中國經(jīng)濟
搜索

   觀察者頭條查看全部

“印巴沖突是敘事之戰(zhàn)，中國裝備重要性凸顯” 評論 103

特朗普故弄玄虛稱“和某大國達成協(xié)議”，就這？評論 152

巴外長證實：殲-10擊落印軍“陣風” 評論 708

美財長：這些嬰童用品從中國進口，考慮降稅評論 159

“荒謬言論”，默茨：我會跟特朗普談談評論 62

   風聞 · 24小時最熱查看全部

   最新視頻查看全部
最新聞 Hot
快訊

DeepSeek“開源周”，連續(xù)掏出兩大核心武器

DeepSeek帶動英偉達在華訂單大增？

經(jīng)濟數(shù)據(jù)引發(fā)美國科技股再跳水，熱門中概股大幅回落

國產(chǎn)GPU廠商被曝考慮赴港IPO，擬募資3億美元

今日頭條2024年攔截不實信息超500萬條，處置不友善內(nèi)容3億條

京東：外賣騎手五險一金的所有成本，全部由京東承擔

蘋果推出超低配iPhone16e的原因找到了？

?公開指責字節(jié)旗下紅果短劇壟斷，愛奇藝因何焦慮？

茶咖日報｜霸王茶姬發(fā)起青年藝術(shù)共創(chuàng)計劃；喜茶攜手Adyen加速全球支付布局

首款為原生鴻蒙而生的手機3月發(fā)布，騰訊回應余承東

喜茶海外首家LAB店落地紐約，美國門店已超20家

工信部副部長熊繼軍：加快完善我國開源生態(tài)體系建設(shè)

超百億加碼+深度創(chuàng)新，SHEIN鏈深耕服裝產(chǎn)業(yè)升級

事關(guān)AI，阿里宣布：將投3800億

全球開發(fā)者先鋒大會在上海開幕，有哪些看點？

黃仁勛首度回應DeepSeek沖擊

沈向洋談DeepSeek：開源和閉源不是對立的商業(yè)模式

元寶下載量僅次于DeepSeek！騰訊股價創(chuàng)近4年來新高

道指跌超700點，中概股逆勢上漲

全球折疊屏出貨罕見大跌18%：華為超三星成第一，榮耀聯(lián)想進前五

僅僅10年前，中國游客還在東京秋葉原搶馬桶蓋

沖突愈演愈烈，莫迪首發(fā)聲

挪威發(fā)布國家安全戰(zhàn)略：美國不可靠，需要跟歐洲抱團

印度兩座水電站已重新開閘

“印巴沖突是敘事之戰(zhàn)，中國裝備重要性凸顯”

夸大對華關(guān)稅效果，她被打假了

突發(fā)！巴稱擊斃約50名印士兵，印稱摧毀巴第二大城市防空系統(tǒng)

彈射座椅大廠泄露了印巴空戰(zhàn)戰(zhàn)損“天機”？

巴總理：關(guān)鍵時刻，感謝“親愛的兄弟”埃爾多安

日本地鐵出現(xiàn)隨機殺人事件，男子揮20厘米菜刀砍傷2人

“斯洛伐克幾分鐘前才被通知…現(xiàn)在知道國際政治是啥了吧”

“俄羅斯要價太高，但...”

烏克蘭議會批準美烏礦產(chǎn)協(xié)議

“特朗普稱要把這改叫阿拉伯灣”，伊朗譴責：我們也沒反對阿拉伯海

巴外長證實：殲-10擊落印軍“陣風”

“中國遠落后于美國的時代已終結(jié)”

“接到指示，美情報機構(gòu)加強搜集力度”