通信界訊 聯(lián)發(fā)科最新發(fā)布的一代旗艦級(jí) 5G 生成式 AI 移動(dòng)芯片天璣 9300，其創(chuàng)新的全大核架構(gòu)設(shè)計(jì)與最新的 AI 處理器 APU 等聯(lián)發(fā)科特色技術(shù)的合并，為生成式 AI 應(yīng)用提供了強(qiáng)大的動(dòng)力，以實(shí)現(xiàn)引人入勝、豐富多樣的生成式 AI 體驗(yàn)。同時(shí)，聯(lián)發(fā)科也與大量的 AI 企業(yè)在業(yè)內(nèi)進(jìn)行深入合作，共同在移動(dòng)平臺(tái)上構(gòu)造了一個(gè)充滿活力的 AI 生態(tài)。
全新第七代 AI 處理器 APU 790，為生成式 AI 而生 隨著用戶對(duì)生成式 AI 應(yīng)用需求日益增長(zhǎng)，端側(cè)生成式 AI 便捷、安全性等優(yōu)勢(shì)便凸顯出來(lái)。當(dāng)然，部署端側(cè) AI 大語(yǔ)言模型需要強(qiáng)大的 AI 算力支撐。
天璣 9300 搭載聯(lián)發(fā)科第七代 AI 處理器 APU 790，為生成式 AI 而設(shè)計(jì)，擁有硬件級(jí)的生成式 AI 引擎，可以實(shí)現(xiàn)更加高速且安全的邊緣 AI 計(jì)算，深度適配 Transformer 模型進(jìn)行算子加速，速度是上一代的 8 倍。
同時(shí) APU 790 的性能和能效得到顯著提升，整數(shù)運(yùn)算和浮點(diǎn)運(yùn)算能力提升至前一代的 2 倍，蘇黎世 ETHZv5.1 AI-Benchmark Mobile Soc 跑分 2109 分，AI 性能成功霸榜，功耗更是降低了 45%。在強(qiáng)大的 AI 性能支持下，1 秒以內(nèi)即可生成圖片。天璣 9300 強(qiáng)悍的 AI 算力、創(chuàng)新的全大核 CPU 架構(gòu)和 Immortalis-G720 GPU 都為端側(cè)運(yùn)行生成式 AI 打下堅(jiān)實(shí)的性能基礎(chǔ)。
同時(shí)，基于億級(jí)參數(shù)大語(yǔ)言模型的特性，聯(lián)發(fā)科開發(fā)了混合精度 INT4 量化技術(shù)，結(jié)合聯(lián)發(fā)科特有的內(nèi)存硬件壓縮技術(shù) NeuroPilot Compression，可以更高效地利用內(nèi)存帶寬，大幅減少 AI 大模型占用終端內(nèi)存，為端側(cè)運(yùn)行 AI 大語(yǔ)言模型突破手機(jī)內(nèi)存限制，助力更大參數(shù)模型在端側(cè)落地。
基于以上，天璣 9300 首次在 vivo 旗艦手機(jī)端側(cè)落地 70 億參數(shù) AI 大語(yǔ)言模型，處理速度可達(dá) 20 Tokens 每秒。不僅如此，聯(lián)發(fā)科突破了行業(yè)極限，已經(jīng)與 vivo 成功在端側(cè)運(yùn)行了 130 億參數(shù)的大語(yǔ)言模型。甚至，天璣 9300 已率先實(shí)現(xiàn)在移動(dòng)芯片上成功運(yùn)行 330 億參數(shù)的 AI 大語(yǔ)言模型，領(lǐng)跑業(yè)界。
天璣 9300 還支持多模態(tài)生成式 AI 大模型，打造出“文生詩(shī)”“文生圖”“文生趣圖”等豐富有趣的端側(cè)體驗(yàn)。
可見(jiàn)，天璣 9300 的 AI 算力和端側(cè)生成式 AI 能力已領(lǐng)先行業(yè)，足以讓用戶隨時(shí)隨地 AI 創(chuàng)造力全飆。
與云側(cè)生成式 AI 解決方案不同，由于硬件環(huán)境的差異，部署端側(cè)生成式 AI 也需要考慮手機(jī)內(nèi)存、存儲(chǔ)容量、負(fù)載上限等因素。為此，聯(lián)發(fā)科率先提出了先進(jìn)的解決方案。
APU 790 支持生成式 AI 模型端側(cè)技能擴(kuò)充技術(shù) NeuroPilot Fusion，它可以基于基礎(chǔ)大模型持續(xù)在端側(cè)進(jìn)行低秩自適應(yīng)（LoRA，Low-Rank Adaptation）融合，在混合式 AI 的賦能下，可以基于 1 個(gè)基礎(chǔ)大模型，通過(guò)云端訓(xùn)練，在端側(cè)完成 N 個(gè)功能的融合，賦予基礎(chǔ)大模型更全面、更豐富的生成式 AI 應(yīng)用能力。
比如基于 AI 模型端側(cè)技能擴(kuò)充技術(shù)的“圖生 GIF 動(dòng)圖”功能，用戶可以根據(jù)一張照片更換不同的風(fēng)格甚至表情，玩出個(gè)人專屬風(fēng)格的表情包，秒變表情包小達(dá)人。
AI 開發(fā)平臺(tái) NeuroPilot 加速端側(cè)生成式 AI 生態(tài)布局基于強(qiáng)大的 AI 算力和先進(jìn)的內(nèi)存硬件壓縮技術(shù)、AI 模型端側(cè)技能擴(kuò)充等技術(shù)，天璣 9300 的 APU 790 將端側(cè)生成式 AI 的速度和廣度提升到了全新的水平。同時(shí)，為加速生成式 AI 在端側(cè)部署和普及，聯(lián)發(fā)科也憑借其 AI 開發(fā)平臺(tái) NeuroPilot 構(gòu)建了豐富的 AI 生態(tài)，從底層硬件到工具鏈、模型中心以及開發(fā)生態(tài)，助力生態(tài)快速、高效地部署端側(cè)生成式 AI 應(yīng)用。
AI 開發(fā)平臺(tái) NeuroPilot 支持 Android、Meta LIama 2、文心一言大模型、百川智能百川大模型等前沿主流 AI 大模型。
更為重要的是，NeuroPilot 擁有一套完整且先進(jìn)的工具鏈，除了 NeuroPilot Compression 低秩自適應(yīng)融合，還有 Speculative Decoding 推測(cè)解碼加速和模型優(yōu)化與轉(zhuǎn)化技術(shù)。
聯(lián)發(fā)科的天璣開發(fā)者中心還可提供端側(cè)生成式 AI 落地一站式開發(fā)者資源，分享端側(cè)模型部署案例提升開發(fā)效率。目前已有 20 多個(gè)生成式 AI 合作伙伴加入生態(tài)共建。
聯(lián)發(fā)科還攜手業(yè)界合同伙伴打造精彩的生成式 AI 應(yīng)用體驗(yàn)。虹軟的生成式 AI 超級(jí)分辨率技術(shù)基于天璣 9300 APU 邊緣計(jì)算能力，相比前代，性能可提升 30%。在 25 倍放大的拍攝時(shí)，利用生成式 AI 超級(jí)分辨率技術(shù)，可以拍出細(xì)節(jié)更真實(shí)的圖像效果。
極感科技的生成式 AI 語(yǔ)意搜索技術(shù)也基于天璣 9300 APU 邊緣計(jì)算能力，對(duì)比前代，性能可提升 260%。比如在手機(jī)的相冊(cè)中搜索照片，描述照片的內(nèi)容即可在毫秒內(nèi)精準(zhǔn)搜到對(duì)應(yīng)的照片。而且在斷網(wǎng)狀態(tài)下也能搜索，隱私也不會(huì)泄露。
Morpho 的視頻通話實(shí)時(shí)數(shù)字分身生成技術(shù)，同樣基于天璣 9300 APU 邊緣計(jì)算能力，對(duì)比前代，性能提升 26%。一般的虛擬人像生成器需手動(dòng)選取容貌樣式花費(fèi)時(shí)間。但基于視頻通話實(shí)時(shí)數(shù)字分身生成技術(shù)，用戶操作容易，僅需打開攝像頭單幀圖片即可瞬間生成數(shù)字分身。
基于天璣 9300 APU 邊緣計(jì)算能力，慧鯉生成式 AI 防眩光技術(shù)性能可提升 60%。在此技術(shù)加持下，無(wú)論是室外還是室內(nèi)，在拍攝時(shí)如有眩光，只要輕松一暗即可消除眩光干擾。
可以看到，在 AI 端云融合的趨勢(shì)下，天璣 9300 在 AI 算力、生成式 AI 用戶體驗(yàn)和生態(tài)方面展現(xiàn)出全面的優(yōu)勢(shì)，為新一代旗艦級(jí)端側(cè)生成式 AI 體驗(yàn)樹立了新的標(biāo)桿，強(qiáng)大生成式 AI 就要用天璣。
同時(shí)，聯(lián)發(fā)科等生成式 AI 的領(lǐng)先者們正通過(guò)不斷地技術(shù)革新和適當(dāng)?shù)纳鷳B(tài)布局，大力推動(dòng)混合式 AI 計(jì)算，并為端側(cè)生成式 AI 部署設(shè)計(jì)出了一套獨(dú)自且高效的方法，全力以赴推進(jìn)生成式 AI 在端側(cè)的普及，旨在讓更多的用戶享受到端側(cè) AI 的個(gè)性化服務(wù)，帶來(lái)全新的全方位智能體驗(yàn)，實(shí)現(xiàn)科技成果惠及全社會(huì)。
