大模型加速奔跑,深度應用全面開啟。5月20日,京東云城市大會在上海順利舉行,京東云發(fā)布JoyScale AI算力平臺、JoyBuild大模型開發(fā)計算平臺、JoyAgent智能體2.0等九大產品,三大垂直行業(yè)一體機,助力企業(yè)全面重構AI基礎設施,生成企業(yè)專屬數字員工,加速邁向深度應用。
京東集團技術委員會主席、京東云事業(yè)部總裁曹鵬表示,“隨著深度應用加速來臨,數字員工的上崗率將成為衡量一個企業(yè)先進性的標準。有多少工作是AI完成的,決定了企業(yè)未來能跑多快。新一代Agent成為深度應用的代表,京東云JoyAgent2.0正在幫助企業(yè)生成專業(yè)數字員工。同時,大規(guī)模應用爆發(fā),也將推動AI基礎設施邁向標準化,AI Infra1.0已經具備。”
京東云認為,全面走向深度應用,企業(yè)當下需要做好三件事:
分鐘級部署+零門檻接入 大模型一體機助力企業(yè)快速嘗鮮大模型
一體機作為最快速部署大模型的方式之一,是嘗鮮企業(yè)級AI的最佳路徑。過去三個月,“開箱即用”的京東云大模型一體機跑出“新速度”,從江浙滬到湘贛魯,多省市全面鋪開,醫(yī)療、汽車、教育、制造、泛互多行業(yè)深度滲透,全國規(guī)模化落地突破500臺。京東云大模型一體機軟硬協(xié)同,支持千人規(guī)模企業(yè)并發(fā)需求,實現推理速度提升50%,滿血版、標準版、輕量版為不同規(guī)模企業(yè)提供靈活選擇,助力企業(yè)快速構建企業(yè)級AI服務能力,極大降低專業(yè)技術門檻。
今天,京東云正式發(fā)布三大垂直行業(yè)一體機。
· 醫(yī)療一體機:醫(yī)療領域將融合京醫(yī)千詢大模型,實現智能問診、病歷分析、輔助診療等功能;
· 工業(yè)一體機:工業(yè)場景將集成京東工業(yè)供應鏈大模型,預置供應鏈管理、智能排產等模塊;
· 金融一體機:金融行業(yè)將在保障數據安全合規(guī)基礎上,針對券商、銀行等機構需求進行優(yōu)化適配。
深度應用全面開啟,智能體重塑AI生產力
雖然“超級應用”還有距離,但聚焦企業(yè)端的“深度應用”已奔涌而至,正在加速滲透到需要投入大量人力進行重復勞動的場景。隨著大模型及智能體技術的持續(xù)升級,行業(yè)正加速邁向深度應用階段。
京東正是大模型深度應用的超級孵化器。數據顯示,近三個月京東大模型服務調用量爆發(fā)式增長,環(huán)比提升200%;超1.4萬個智能體在京東內部運行,解決超18%的工作內容,外賣員招聘、財務管理等大面積使用;各類大模型應用已深入到京東零售、物流、醫(yī)療等細分業(yè)務場景,為超50萬商家、超38萬快遞小哥、超5萬副主任以上級別醫(yī)生、超2萬采銷運營、超1萬研發(fā)提高工作效率和提升服務體驗。
智能體,是深度應用方面最具代表性的方向。成長于京東自身業(yè)務系統(tǒng)的JoyAgent 智能體 2.0全新升級, 基于混合代理模型(Mixture-of-Agents,MoA),融合大小型模型的優(yōu)勢,通過規(guī)劃推理構建動態(tài)DAG執(zhí)行引擎,大幅提升任務執(zhí)行效率;集成了覆蓋搜索、數據分析、代碼開發(fā)等領域的豐富工具鏈,支持文本、圖像、視頻等多模態(tài)輸入輸出,為企業(yè)提供全面智能支持;還通過自研多智能體協(xié)同引擎,多個智能體可在對話規(guī)劃、推理上協(xié)同工作,通過自我對話優(yōu)化策略。
在 GAIA Benchmark 的 Level 1-3 測試中,JoyAgent 表現卓越,尤其在復雜任務處理上優(yōu)勢明顯,超越眾多競爭對手。實現從過去被動響應需求,進化為能主動聚焦問題、精準運算、深度分析、和智能決策、精準執(zhí)行。
相較于通用智能體,JoyAgent在企業(yè)場景展示出更多優(yōu)勢。
· 在研發(fā)場景,JoyCode智能編碼助手持續(xù)進化,實現開發(fā)即部署,代碼采納率超過40%,開發(fā)周期縮短30%,京東上萬名研發(fā)人員都在使用;
· 在直播場景,京東數字人已經在9000+商家開播,高保真低成本的人體建模技術、多模態(tài)自然化行為生成等數字人技術棧更新,高商業(yè)可用數字人正式上線服務,618向京東商家免費開放,助力直播轉化;
· 在政務服務場景,基于JoyAgent構建的智能政務研報服務,可根據歷史報告自動識別模板,進行指標試算、驗證,自動生成新報告,識別準確率超98%,已深度應用在北京亦莊、上海普陀等政務平臺上。
技術棧迎來全面重構 AI基礎設施走向標準化
隨著大模型應用的深入,以CPU為中心的架構在支持AI原生應用上面臨挑戰(zhàn),需要以GPU為中心重塑基礎設施;此外,面對激增的推理需求,計算資源持續(xù)增加,企業(yè)需要思考資源投入產出的問題,都指向需要一套AI Native的基礎設施。
在大模型開發(fā)應用方面,JoyBuild支持多類模型的調優(yōu)開發(fā),內置20余種開源模型和豐富的數據集,提供100余種算法和工具鏈。圍繞開源模型蒸餾需求的不斷增加,可以幫助客戶根據自身業(yè)務特征,用自有數據進行大模型的蒸餾,快速開發(fā)專屬大模型。
京東大模型開發(fā)計算技術相關論文被《Nature》收錄,為國內首次系統(tǒng)性解決開放環(huán)境下大模型開發(fā)效率難題,這套技術也支撐了JoyBuild應用。此外,JoyBuild推理引擎基于大規(guī)模專家并行推理集群技術,提升高并發(fā)下并行度,實現單Token推理成本降低80%。
在計算方面,京東云發(fā)布全新的JoyScale AI算力平臺——以GPU為核心,高效異構計算,強大推理性能。具備兩大核心優(yōu)勢:
· 極致的算力性能。面向大模型訓推需求,JoyScale支持單集群萬卡調度、全局超10萬卡調度能力,支持跨智算中心橫向擴展,通過軟硬件協(xié)同優(yōu)化,將大模型算力利用率MFU從45%提升至75%。
· 靈活的異構算力管理。JoyScale全面適配十余家國產算力,支持異構算力統(tǒng)一納管、精細化運維,通過集群算力池化調度,提升集群利用率70%。
在存儲方面,云海AI存儲基于京東全自研的引擎,對AI訓練語料的隨機訪問達到1000萬級,單集群支持TB級超大帶寬,能有效支持千億級參數AI大模型的訓練。云海針對性地提供了原生 KV Cache 特性,支持主流推理框架,以存代算的模式顯著提升了推理性能,長文推理成本下降 40%,長文/多輪對話響應延遲降低 60%。
大模型浪潮洶涌澎湃,京東云將持續(xù)深耕技術,以更開放、更協(xié)同的生態(tài)理念為引領,不斷拓展和深化大模型技術的邊界與應用。同時,憑借在京東內部場景千錘百煉的深度應用經驗,打造出的極致性能、極致性價比的技術與產品,助力更多企業(yè)重塑AI生產力。