國內(nèi)大模型競爭，加速轉(zhuǎn)向深度應(yīng)用。

5月20日，京東云城市大會在上海舉行。會上，京東云發(fā)布JoyScale AI算力平臺、JoyBuild大模型開發(fā)計算平臺、JoyAgent智能體2.0等九大產(chǎn)品，以及醫(yī)療、工業(yè)、金融三大垂直行業(yè)一體機(jī)，助力企業(yè)全面重構(gòu)AI基礎(chǔ)設(shè)施，生成企業(yè)專屬數(shù)字員工，加速邁向深度應(yīng)用。

京東集團(tuán)技術(shù)委員會主席、京東云事業(yè)部總裁曹鵬表示，“隨著深度應(yīng)用加速來臨，數(shù)字員工的上崗率將成為衡量一個企業(yè)先進(jìn)性的標(biāo)準(zhǔn)。有多少工作是AI完成的，決定了企業(yè)未來能跑多快。新一代Agent成為深度應(yīng)用的代表，京東云JoyAgent2.0正在幫助企業(yè)生成專業(yè)數(shù)字員工。同時，大規(guī)模應(yīng)用爆發(fā)，也將推動AI基礎(chǔ)設(shè)施邁向標(biāo)準(zhǔn)化，AI Infra1.0已經(jīng)具備?！?

如何讓大模型全面走向企業(yè)的深度應(yīng)用？京東云提出了三個觀點：

其一，作為最快速部署大模型的方式之一，一體機(jī)是嘗鮮企業(yè)級AI的最佳路徑。京東云透露，過去三個月，“開箱即用”的京東云大模型一體多省市全面鋪開，全國規(guī)?；涞赝黄?00臺。

其二，深度應(yīng)用時代全面開啟，智能體是深度應(yīng)用方面最具代表性的方向。京東云認(rèn)為，雖然“超級應(yīng)用”還有距離，但聚焦企業(yè)端的“深度應(yīng)用”已奔涌而至，正在加速滲透到需要投入大量人力進(jìn)行重復(fù)勞動的場景。隨著大模型及智能體技術(shù)的持續(xù)升級，行業(yè)正加速邁向深度應(yīng)用階段。

數(shù)據(jù)顯示，近三個月京東大模型服務(wù)調(diào)用量爆發(fā)式增長，環(huán)比提升200%；超1.4萬個智能體在京東內(nèi)部運(yùn)行，解決超18%的工作內(nèi)容，各類大模型應(yīng)用已深入到京東零售、物流、醫(yī)療等細(xì)分業(yè)務(wù)場景，為超50萬商家、超38萬快遞小哥、超5萬副主任以上級別醫(yī)生、超2萬采銷運(yùn)營、超1萬研發(fā)提供助力。

京東云宣布，成長于京東自身業(yè)務(wù)系統(tǒng)的JoyAgent 智能體 2.0全新升級， 基于混合代理模型（Mixture-of-Agents，MoA），融合大小型模型的優(yōu)勢，通過規(guī)劃推理構(gòu)建動態(tài)DAG執(zhí)行引擎，大幅提升任務(wù)執(zhí)行效率。

其三，技術(shù)棧迎來全面重構(gòu)，AI基礎(chǔ)設(shè)施將走向標(biāo)準(zhǔn)化。

京東云認(rèn)為，隨著大模型應(yīng)用的深入，以CPU為中心的架構(gòu)在支持AI原生應(yīng)用上面臨挑戰(zhàn)，需要以GPU為中心重塑基礎(chǔ)設(shè)施；此外，面對激增的推理需求，計算資源持續(xù)增加，企業(yè)需要思考資源投入產(chǎn)出的問題，都指向需要一套AI Native的基礎(chǔ)設(shè)施。

在大模型開發(fā)應(yīng)用方面，JoyBuild支持多類模型的調(diào)優(yōu)開發(fā)，內(nèi)置20余種開源模型和豐富的數(shù)據(jù)集，提供100余種算法和工具鏈。圍繞開源模型蒸餾需求的不斷增加，可以幫助客戶根據(jù)自身業(yè)務(wù)特征，用自有數(shù)據(jù)進(jìn)行大模型的蒸餾，快速開發(fā)專屬大模型。

京東大模型開發(fā)計算技術(shù)相關(guān)論文被Nature收錄，為國內(nèi)首次系統(tǒng)性解決開放環(huán)境下大模型開發(fā)效率難題，這套技術(shù)也支撐了JoyBuild應(yīng)用。此外，JoyBuild推理引擎基于大規(guī)模專家并行推理集群技術(shù)，提升高并發(fā)下并行度，實現(xiàn)單Token推理成本降低80%。

在計算方面，京東云發(fā)布全新的JoyScale AI算力平臺——以GPU為核心，高效異構(gòu)計算，強(qiáng)大推理性能。其具備兩大核心優(yōu)勢：一是算力性能，一是靈活的異構(gòu)算力管理。

公開資料顯示，JoyScale支持單集群萬卡調(diào)度、全局超10萬卡調(diào)度能力，支持跨智算中心橫向擴(kuò)展，通過軟硬件協(xié)同優(yōu)化，將大模型算力利用率MFU從45%提升至75%。它全面適配十余家國產(chǎn)算力，支持異構(gòu)算力統(tǒng)一納管、精細(xì)化運(yùn)維，通過集群算力池化調(diào)度，提升集群利用率70%。

在存儲方面，云海AI存儲基于京東全自研的引擎，對AI訓(xùn)練語料的隨機(jī)訪問達(dá)到1000萬級，單集群支持TB級超大帶寬，能有效支持千億級參數(shù)AI大模型的訓(xùn)練。云海針對性地提供了原生 KV Cache 特性，支持主流推理框架，以存代算的模式顯著提升了推理性能，長文推理成本下降 40%，長文/多輪對話響應(yīng)延遲降低 60%。

本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。