DeepSeek如何以顛覆性訓(xùn)練策略重構(gòu)大型參數(shù)模型的成本公式？

1月底，美國知名半導(dǎo)體咨詢機(jī)構(gòu)SemiAnalysis發(fā)布的一篇主題圍繞“給Deepseek算經(jīng)濟(jì)賬”的文章，一時間成為全球爆款。近日，心智觀察所就全球LLM模型競爭生態(tài)，如何穿透算力軍備競賽的表象，剖析大模型博弈中數(shù)據(jù)、算法、資本的三重角力等問題連線了SemiAnalysis。本次對話由心智觀察所與SemiAnalysis總裁Dylan Patel，資深分析師AJ Kourabi和David Wolfson共同完成。

心智觀察所：SemiAnalysis早在去年五月就發(fā)現(xiàn)了DeepSeek在MoE、RoPE、Attention等領(lǐng)域的創(chuàng)新貢獻(xiàn)，你們是如何敏銳地捕捉到DeepSeek為AI模型帶來的突破性？當(dāng)時行業(yè)是否低估了DeepSeek從V2到V3迭代的能力？

SemiAnalysis：我們一直密切關(guān)注AI領(lǐng)域的創(chuàng)新和進(jìn)展，對DeepSeek取得的進(jìn)步印象深刻。絕大多數(shù)領(lǐng)先的AI實(shí)驗(yàn)室并沒有忽視DeepSeek——Anthropic的CEO公開表示，他們從V2甚至更早的時候就開始跟蹤DeepSeek的發(fā)展。我們認(rèn)為，大多數(shù)實(shí)驗(yàn)室都預(yù)計(jì)到了從V2到V3會有這種程度的改進(jìn)，除了Meta。

早在2024年5月，SemiAnalysis就發(fā)現(xiàn)了DeepSeek V2相比同行的性價比優(yōu)勢

心智觀察所：TCO模型（總計(jì)算成本）的搭建是一個非常復(fù)雜的項(xiàng)目，涉及服務(wù)器資本支出（CapEx）、員工工資等。SemiAnalysis是否有特定的計(jì)算參數(shù)模型，或者是否收到來自相關(guān)企業(yè)關(guān)于計(jì)算TCO方法的反饋？

SemiAnalysis：我們開發(fā)了自己獨(dú)有的解決方案，并與多家公司合作，提供咨詢服務(wù)以支持他們的集群建設(shè)（注：可參見https://www.semianalysis.com/p/ai-cloud-tco-model）。

心智觀察所：根據(jù)你們的分析，與OpenAI相比，Meta和Google能夠更直接地接觸C端消費(fèi)者。Meta AI是否可能對Google搜索造成不小的沖擊？“中國的Google”——百度搜索，是否也會遇到類似的問題？

SemiAnalysis：Meta擁有直接接觸數(shù)十億日活躍用戶的能力，使他們能夠立即將大量用戶群體調(diào)用于他們引入的任何AI功能。

心智觀察所：未來DeepSeek將會繼續(xù)增強(qiáng)其多模態(tài)能力，你們?nèi)绾卧u估他們與OpenAI（ChatGPT）、Google（Gemini）、Meta（Llama）和Anthropic（Claude）的競爭態(tài)勢？

SemiAnalysis：我們預(yù)計(jì)OpenAI在可預(yù)見的未來，憑借其在人才、基礎(chǔ)設(shè)施和資本方面的卓越資源，將保持對DeepSeek的領(lǐng)先地位。DeepSeek正在利用一種新范式，通過瞄準(zhǔn)低垂果實(shí)實(shí)現(xiàn)快速且成本效益高的進(jìn)展。然而，隨著格局的演變，保持這種勢頭將變得越來越具有挑戰(zhàn)性。同樣，我們也預(yù)計(jì)Google將保持領(lǐng)先地位。

在競爭格局內(nèi)部，Anthropic擁有顯著優(yōu)于DeepSeek的模型，我們預(yù)計(jì)他們將在不久的將來會公開發(fā)布這些模型。另一方面，Meta處于更具挑戰(zhàn)性的位置，因?yàn)樗俏ㄒ灰粋€致力于開源其模型的主要實(shí)驗(yàn)室。據(jù)我們了解，他們正在開發(fā)一個新模型，預(yù)計(jì)其性能將超過DeepSeek，但改進(jìn)的程度是否足以證明推遲發(fā)布是合理的，這一點(diǎn)仍不確定。我們在下面這個鏈接中更詳細(xì)地探討了DeepSeek的進(jìn)展：

https://semianalysis.com/2025/01/31/deepseek-debates/

心智觀察所：DeepSeek的崛起促使行業(yè)重新考慮Scale Law和“算力”的概念。你認(rèn)為這將對英偉達(dá)H200的銷售預(yù)期產(chǎn)生什么影響？

SemiAnalysis：DeepSeek推動了AI擴(kuò)展的創(chuàng)新，證明了戰(zhàn)略性優(yōu)化可以帶來有競爭力的結(jié)果。他們的進(jìn)展增加了對AI基礎(chǔ)設(shè)施和計(jì)算資源的需求，同時加劇了頂級實(shí)驗(yàn)室之間的競爭，進(jìn)一步加速了該領(lǐng)域的進(jìn)展。

心智觀察所：推理成本的下降是AI進(jìn)步的一個標(biāo)志。從訓(xùn)練到推理，總體而言，像GPT、Gemini和Claude這樣的產(chǎn)品如何應(yīng)對持續(xù)降低推理成本的挑戰(zhàn)，以及他們?nèi)绾握{(diào)整其API定價策略？“杰文斯悖論”是否被過度炒作？

SemiAnalysis：許多頂級AI實(shí)驗(yàn)室正在積極開發(fā)針對降低成本的創(chuàng)新，這些AI實(shí)驗(yàn)室往往從這些創(chuàng)新中受益最多。當(dāng)競爭對手提供更低的價格時，供應(yīng)商不得不通過調(diào)整定價來應(yīng)對。通常，API定價策略會根據(jù)市場壓力和推動成本下降的內(nèi)部進(jìn)展進(jìn)行調(diào)整。然而，在某些情況下，供應(yīng)商并沒有降低價格，而是擴(kuò)大了對替代性模型的訪問——例如OpenAI在DeepSeek取得突破后不久發(fā)布了o3-mini。我們認(rèn)為“杰文斯悖論”并沒有被低估，并且我們之前的研究已經(jīng)廣泛覆蓋了這個話題。

心智觀察所：你如何評估由OpenAI領(lǐng)導(dǎo)的“Stargate”計(jì)劃？該計(jì)劃需要動員大量人力和物力資源。這個計(jì)劃能否與“芯片法案”這樣的計(jì)劃形成聯(lián)動？

SemiAnalysis：OpenAI的“Stargate”計(jì)劃與芯片法案完全獨(dú)立，因?yàn)樗鼘Ｗ⒂跀U(kuò)展AI基礎(chǔ)設(shè)施，而不是對半導(dǎo)體制造端的激勵。雖然兩者都涉及大量資源動員，但Stargate是一項(xiàng)私有部門的努力，旨在構(gòu)建先進(jìn)的AI系統(tǒng)，而芯片法案是一項(xiàng)政府計(jì)劃，旨在提升國內(nèi)芯片產(chǎn)量。兩者之間沒有直接聯(lián)系。

DeepSeek-V3競爭性分析

心智觀察所：SemiAnalysis正在吸引越來越多來自中國產(chǎn)業(yè)部門的關(guān)注，近來幾乎每篇文章都會引發(fā)廣泛討論。能否談?wù)凷emiAnalysis在市場研究和行業(yè)觀察方面是否有一套獨(dú)特的方法論？能否介紹一下你們團(tuán)隊(duì)的規(guī)模和盈利模式？

SemiAnalysis：我們的方法并不是什么“秘密配方”——而是對制造業(yè)、供應(yīng)鏈、技術(shù)部署以及AI基礎(chǔ)設(shè)施戰(zhàn)略進(jìn)行嚴(yán)格研究的結(jié)果。這項(xiàng)工作需要一個高度敬業(yè)的團(tuán)隊(duì)，他們對技術(shù)和分析充滿熱情。隨著我們服務(wù)的擴(kuò)展，我們的團(tuán)隊(duì)也在不斷壯大，從最初的幾個人發(fā)展到全球約25名分析師，目前分布于北美、歐洲和亞洲等區(qū)域。

SemiAnalysis沒有“中央辦公室”，我們的盈利模式基于銷售行業(yè)和金融研究。我們的客戶范圍覆蓋從初創(chuàng)公司到全球財(cái)富100強(qiáng)公司，技術(shù)公司和投資公司各占一半。我們的業(yè)務(wù)范圍包括從簡單的新聞通訊訂閱到與專門分析師進(jìn)行為期數(shù)月的咨詢服務(wù)等。

本文系觀察者網(wǎng)獨(dú)家稿件，文章內(nèi)容純屬作者個人觀點(diǎn)，不代表平臺觀點(diǎn)，未經(jīng)授權(quán)，不得轉(zhuǎn)載，否則將追究法律責(zé)任。關(guān)注觀察者網(wǎng)微信guanchacn，每日閱讀趣味文章。