Arm 公司昨日（7 月 10 日）發(fā)布博文，為了滿足未來(lái)生成式 AI 的需求，擴(kuò)展提供更多先進(jìn)智能功能，推出了可以加速 AI 工作負(fù)載的可擴(kuò)展矩陣擴(kuò)展 2（SME2）技術(shù)，開(kāi)發(fā)者無(wú)需修改代碼，即可集成至現(xiàn)有模型和應(yīng)用中。
該公司指出，在移動(dòng)設(shè)備上的生成式 AI 應(yīng)用不再局限于傳統(tǒng)的聊天機(jī)器人和虛擬助手，而是逐漸發(fā)展到生成文本、聲音、圖像和視頻，執(zhí)行數(shù)學(xué)推理、以及群聊摘要等諸多高級(jí)智能功能。
SME 最初出現(xiàn)在 Armv9 架構(gòu)中，是一組可選的高級(jí) CPU 架構(gòu)擴(kuò)展，專門設(shè)計(jì)用于加速矩陣數(shù)學(xué)運(yùn)算。
SME2 在 2022 年底首次亮相，在此基礎(chǔ)上增加了新功能，據(jù) Arm 稱，它能夠?qū)崿F(xiàn)實(shí)時(shí)的移動(dòng)端推理任務(wù)，涵蓋生成圖片、自然語(yǔ)言處理任務(wù)等。
Arm 還分享了一些數(shù)據(jù)，這些數(shù)據(jù)確實(shí)讓 SME2 看起來(lái)非�？煽�。根據(jù) Arm 的說(shuō)法，Google 的 Gemma 3 模型在 SME2 增強(qiáng)的硬件上，比沒(méi)有 SME2 的硬件快 6 倍。
它可以在單個(gè) CPU 核心上不到一秒鐘內(nèi)運(yùn)行 800 字的文本摘要，IT之家注：這里 Arm 所指的 CPU 型號(hào)尚不清楚。
對(duì)于消費(fèi)者來(lái)說(shuō)，公告中的關(guān)鍵部分是，未來(lái)安卓手機(jī)即將具備 SME2 硬件能力。
到目前為止，SME 主要保留給服務(wù)器和工作站級(jí)處理器，因?yàn)槠湟筝^高。然而，SME2 被設(shè)計(jì)為更加可擴(kuò)展，能夠部署在筆記本電腦、平板電腦，以及高端智能手機(jī)上。
重要的是，安卓已經(jīng)準(zhǔn)備好支持 SME2。SME2 在 Google 的 XNNPACK 庫(kù)中啟用，并支持 llama.cpp、阿里巴巴的 MNN 和微軟的 ONNX 等框架。
