2025年初以來，低成本、高性能的新型AI模型迅速成為業(yè)界研究、應(yīng)用的焦點，越來越多的傳統(tǒng)行業(yè)開始探索為自身的業(yè)務(wù)引入人工智能。不過在實際應(yīng)用中，大部分政企用戶都面臨諸多挑戰(zhàn)，包括AI如何與傳統(tǒng)應(yīng)用結(jié)合，如何搭建支持AI應(yīng)用的軟硬件架構(gòu)等等。在近日舉行的2025中國算力大會“云存智算創(chuàng)新實踐分論壇”上，浪潮云海正式對外發(fā)布了創(chuàng)新的AI云基礎(chǔ)設(shè)施平臺InCloud AIOS，為政企用戶低成本、高效率地接入AI提供了一條平滑演進之路。
浪潮數(shù)據(jù)云計算產(chǎn)品部副總經(jīng)理張明燦在演講中表示，InCloud AIOS平臺具有開放兼容、平滑演進、簡化運維、極致性能等特點，是專為政企智能化轉(zhuǎn)型設(shè)計的“融合型AI底座”�！癐nCloud AIOS平臺可以幫助政企用戶解決異構(gòu)算力協(xié)同難、傳統(tǒng)架構(gòu)升級難、AI運維門檻高、性能與安全難平衡等難題，使得用戶能夠從傳統(tǒng)IT快速、穩(wěn)妥地遷移到智能IT�！睆埫鳡N說。
打造靈巧、簡潔的智能云基礎(chǔ)設(shè)施
在引入私有化AI大模型之初，大多數(shù)政企用戶只是想要搭建智能問答助手應(yīng)用，解決客服人手不足的問題，不過很快就會迸發(fā)出更多的想法，比如引入財務(wù)AI、辦公AI、生產(chǎn)線AI等等。這些應(yīng)用往往來自不同部門，對大模型的參數(shù)規(guī)模、精度、調(diào)用數(shù)量等各不相同，對GPU、CPU等硬件的算力要求、計算類型也不一致，共同點是都要求運行安全穩(wěn)定、日常運維簡單易行。另一方面，為了更好應(yīng)對不斷變化的國際形勢，國內(nèi)政企客戶都存在向國產(chǎn)化架構(gòu)遷移的迫切需求，新舊芯片、架構(gòu)、軟硬件環(huán)境等如何協(xié)同工作，也是一個迫切需要解決的問題。
據(jù)張明燦介紹，在具體實施過程中，有的客戶選擇各個部門自建一套AI基礎(chǔ)設(shè)施，不同部門的AI平臺、AI開發(fā)平臺各不相同�！斑@其實就是煙囪模式，會導(dǎo)致AI資源分散，難以統(tǒng)一運維、統(tǒng)一管理�！睆埫鳡N說，“更理想的做法是云化模式，像建云一樣搭建AI基礎(chǔ)設(shè)施，實現(xiàn)業(yè)務(wù)整合、數(shù)據(jù)集中、資源池化。”
云化模式部署AI基礎(chǔ)設(shè)施的好處很多。首先，AI業(yè)務(wù)通常都是從基于云端的傳統(tǒng)業(yè)務(wù)改造而來，云化模式可以實現(xiàn)傳統(tǒng)業(yè)務(wù)、AI業(yè)務(wù)的統(tǒng)一管理；其次，AI應(yīng)用也需要調(diào)用虛擬機、容器、數(shù)據(jù)庫、PaaS服務(wù)、存儲等資源，私有云可以對此提供更好的支持；第三，私有云可以很好地支持AI所需要的多芯多模；第四，云化部署AI業(yè)務(wù)可以大大降低運維壓力，減少AI平臺的人力、物力、財力成本。
正是基于上述實際情況，浪潮云海近年來不斷完善其智能云框架，發(fā)展可演進的私有云解決方案，縱向?qū)崿F(xiàn)各分層解耦、可繼承、可演進，橫向提高服務(wù)組件的按需選配能力。此次推出的InCloud AIOS平臺就可以幫助企業(yè)高效率、低成本地接入AI能力，破解AI落地中普遍存在的AI建設(shè)成本高、異構(gòu)算力協(xié)同難、大模型運維門檻高、性能與安全難平衡等痛點。
四大特性，支持AI順利落地
據(jù)浪潮數(shù)據(jù)云計算產(chǎn)品部PDT經(jīng)理呂廣杰介紹，從市場的實際需求出發(fā)，浪潮云海為InCloud AIOS平臺賦予了一云多算、平滑演進、極簡運維、軟硬協(xié)同四大特性。
一云多算是指InCloud AIOS平臺支持多元異構(gòu)融合的AI基礎(chǔ)設(shè)施，可以兼容國內(nèi)外廠商生產(chǎn)的主流GPU，使得客戶采購的多種GPU協(xié)同工作。在應(yīng)用層面，InCloud AIOS平臺能夠提供各種開源大模型服務(wù)，為各種智能體提供標(biāo)準的OpenAI接口，使得客戶和應(yīng)用開發(fā)商無需考慮底層異構(gòu)算力的差異。
平滑演進是指InCloud AIOS平臺提供私有云架構(gòu)，客戶原有的數(shù)據(jù)中心無需改造，購買單臺AI服務(wù)器即可實現(xiàn)AI能力升級。依托InCloud AIOS平臺的云架構(gòu)，客戶可以高效整合智算資源，打破單節(jié)點限制、跨域動態(tài)分配資源，提升推理效率和算力資源的使用效能。
極簡運維是InCloud AIOS平臺可以讓IT運維人員無需學(xué)習(xí)復(fù)雜的AI概念，像運維虛擬機一樣運維智能體，實現(xiàn)傳統(tǒng)業(yè)務(wù)與智能體應(yīng)用的統(tǒng)一管理運維。InCloud AIOS平臺還提供了完善的智能化運維工具，不但可以保障大模型、智能體穩(wěn)定運行，還支持大模型性能評估、彈性伸縮、自動高可靠保障等。InCloud AIOS平臺的安全機制也非常完善，確�？蛻絷P(guān)鍵數(shù)據(jù)不出域、實時監(jiān)測大模型對話內(nèi)容，輸入有檢查，輸出有審計，切實保障AI業(yè)務(wù)在各類場景中都能安全可靠地使用。
軟硬協(xié)同是指浪潮云海在InCloud AIOS平臺中配置了自研AI引擎，針對國內(nèi)外主流GPU進行聯(lián)合深度優(yōu)化，從而獲得更強的推理性能。據(jù)實測驗證，InCloud AIOS平臺利用優(yōu)化KV緩存策略使得長文本推理KV Cache命中率提升了13倍，運用DirectStorage技術(shù)使得相同硬件下模型加載速度提升了26倍，利用自研InLLM推理框架將模型吞吐提升了6倍，高并發(fā)下自動調(diào)度效率提升了26倍。
張明燦表示，浪潮云海現(xiàn)有約15000多家私有云客戶，這些客戶都有強烈的部署AI基礎(chǔ)設(shè)施的需求。“InCloud AIOS平臺可以幫助我們的客戶快速從私有云躍遷到AI云。”張明燦說。
三大突破，帶來極致性能表現(xiàn)
實測表明，在InCloud AIOS平臺PD分離、動態(tài)流量調(diào)度等技術(shù)的支持下，浪潮云海自研的InLLM推理模型吞吐量提高了6倍，同時模型預(yù)熱僅需37秒、多節(jié)點GPU顯存加載僅用了11 秒，加載時間直降30倍。在InCloud AIOS平臺智能調(diào)度策略、自動化彈性伸縮等技術(shù)的協(xié)同下，資源調(diào)度效率提升了26倍，足以應(yīng)對高并發(fā)場景，節(jié)點故障的恢復(fù)效率也提升了5倍。在DP/TP/EP、MoE量化等多種應(yīng)用并行的情況下，InCloud AIOS平臺能夠全面增強推理性能，多輪對話首Token延遲從3秒減到1秒，TTFT縮短了3倍。
張明燦告訴記者，為方便客戶盡快構(gòu)建AI應(yīng)用，浪潮云海還在InCloud AIOS平臺中內(nèi)置了20多款開箱即用的AI智能體，非常受客戶歡迎，已在多個行業(yè)領(lǐng)域投入了實際應(yīng)用。比如有大型科技企業(yè)采用InCloud AIOS平臺承載其辦公、財務(wù)、開發(fā)測試等系統(tǒng)，有頭部征信企業(yè)用InCloud AIOS平臺運行其客戶管理、風(fēng)控、辦公等系統(tǒng)，某國際保險企業(yè)利用InCloud AIOS平臺運行其核保、理賠、智能客服、合規(guī)管理等核心業(yè)務(wù)。
浪潮云海推出的InCloud AIOS平臺具有純軟件、軟硬一體機兩種形態(tài)，各有偏重。張明燦解釋說，純軟件形態(tài)的InCloud AIOS平臺更強調(diào)對硬件的廣泛兼容，可以幫助客戶基于新舊算力基礎(chǔ)設(shè)施構(gòu)建統(tǒng)一的私有AI云；一體機形態(tài)更強調(diào)整體的穩(wěn)定性、開箱即用特性，幫助客戶簡單、快速地獲得AI云服務(wù)能力。
張明燦表示，InCloud AIOS平臺中內(nèi)置的20多款A(yù)I智能體并不是全部，接下來浪潮云海將繼續(xù)適配更多的智能體，為客戶提供更多的選擇。在本次2025中國算力大會上，浪潮云海還發(fā)布了“云圖生態(tài)聯(lián)盟計劃”，計劃在針對傳統(tǒng)的硬件、應(yīng)用合作伙伴進行優(yōu)化之外，增強對大模型、智能體和各類GPU、算力互聯(lián)等設(shè)備的適配和調(diào)優(yōu)�！拔覀兊哪繕�(biāo)是吸引50家分銷商、100家行業(yè)用戶生態(tài)伙伴、100家應(yīng)用生態(tài)伙伴，基于浪潮云海的平臺產(chǎn)品做深度優(yōu)化�！睆埫鳡N說，“浪潮云海有優(yōu)秀的AI基礎(chǔ)設(shè)施平臺，我們的伙伴有優(yōu)秀的智能體應(yīng)用，相向而行，就可以讓我們共同的最終用戶獲得更好的AI體驗�！�
