易觀分析發(fā)布《2025年AI產(chǎn)業(yè)發(fā)展十大趨勢(shì)》報(bào)告，后續(xù)將針對(duì)十大趨勢(shì)分別進(jìn)行解析：

趨勢(shì)之二：多模態(tài)模型能力持續(xù)升級(jí)，朝向多模態(tài)理解和生成的統(tǒng)一發(fā)展

當(dāng)前自然語(yǔ)言、音頻、視頻等多個(gè)模態(tài)的理解與生成能力均提升顯著，在模型創(chuàng)新、跨模態(tài)能力提升、性能優(yōu)化上有進(jìn)展，并涌現(xiàn)出不少基于多模態(tài)模型的應(yīng)用和探索。目前多模態(tài)大模型主要有兩種思路，具體如下：

具體來(lái)說(shuō)，當(dāng)前多模態(tài)模型的進(jìn)展如下：

l新模型不斷涌現(xiàn)

研究機(jī)構(gòu)和企業(yè)不斷推出性能強(qiáng)大的多模態(tài)模型，例如智源人工智能研究院 Emu3，是全球首個(gè)原生多模態(tài)世界模型，通過(guò)自回歸技術(shù)結(jié)合圖像、文本和視頻三種模態(tài)，在圖像生成、視覺(jué)語(yǔ)言理解和生成方面表現(xiàn)出色。

l訓(xùn)練方法優(yōu)化

訓(xùn)練方式不斷創(chuàng)新，例如新的聯(lián)合訓(xùn)練策略，即在訓(xùn)練過(guò)程中先固定大語(yǔ)言模型的權(quán)重參數(shù)，對(duì)圖像編碼器和橋接組件進(jìn)行初步訓(xùn)練，然后再對(duì)整個(gè)模型進(jìn)行整體訓(xùn)練，這種分階段的訓(xùn)練方式有助于提高模型的性能和效率。

l跨模態(tài)交互能力增強(qiáng)

能夠更好地理解和關(guān)聯(lián)不同模態(tài)之間的信息，實(shí)現(xiàn)更精準(zhǔn)的跨模態(tài)交互和轉(zhuǎn)換，例如，可以根據(jù)文本描述生成高質(zhì)量的圖像或視頻，也可以理解圖像或視頻內(nèi)容并生成相關(guān)的文本描述，并且在語(yǔ)義一致性方面有了很大提升。

l性能提升

計(jì)算效率提高，多模態(tài)模型計(jì)算速度加快、響應(yīng)時(shí)間縮短，可快速處理分析數(shù)據(jù)滿足實(shí)時(shí)需求。同時(shí)，模型結(jié)構(gòu)與訓(xùn)練方法優(yōu)化使精度提升，在圖像、語(yǔ)音、自然語(yǔ)言處理等任務(wù)準(zhǔn)確率和召回率顯著提高。

面對(duì)現(xiàn)實(shí)世界，信息是以多種模態(tài)存在的，如文本、圖像、音頻、視頻等。人類的認(rèn)知過(guò)程是多模態(tài)的，我們通過(guò)視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等多種方式感知世界。然后，上述在多模型能力方面的進(jìn)展，通常都是將理解和生成任務(wù)分開(kāi)處理，使用獨(dú)立的模型分別應(yīng)對(duì)，多模態(tài)模型的統(tǒng)一有助于使其更接近人類的認(rèn)知模式，從而更好地理解和處理復(fù)雜的自然場(chǎng)景，增強(qiáng)人機(jī)交互體驗(yàn)，拓展更廣泛的應(yīng)用領(lǐng)域。相應(yīng)地，多模態(tài)理解和生成的統(tǒng)一是當(dāng)下多模態(tài)模型能力提升的重要發(fā)展方向。

無(wú)論是上述何種思路，多模態(tài)整體上需要在如下方向進(jìn)一步研究與提升，從而實(shí)現(xiàn)更廣泛的應(yīng)用落地：

 技術(shù)發(fā)展

l增強(qiáng)跨模態(tài)理解能力

不同模態(tài)的數(shù)據(jù)（如文本、圖像、音頻、視頻等）具有各自獨(dú)特的特征和表達(dá)方式，統(tǒng)一發(fā)展能更好地建立起不同模態(tài)之間的關(guān)聯(lián)和映射，讓模型更準(zhǔn)確、深入地理解各模態(tài)信息的內(nèi)在聯(lián)系和語(yǔ)義一致性

l提高模型的泛化能力

單一模態(tài)的模型往往只能處理特定類型的數(shù)據(jù)，在面對(duì)復(fù)雜多變的實(shí)際場(chǎng)景時(shí)可能表現(xiàn)不佳。而多模態(tài)模型的統(tǒng)一發(fā)展可以整合多種模態(tài)的信息，使模型能夠從多個(gè)角度對(duì)事物進(jìn)行理解和分析，從而提高模型的泛化能力，適應(yīng)不同的應(yīng)用場(chǎng)景和數(shù)據(jù)變化

 數(shù)據(jù)管理

l促進(jìn)數(shù)據(jù)融合和共享

多模態(tài)模型的統(tǒng)一發(fā)展需要對(duì)不同模態(tài)的數(shù)據(jù)進(jìn)行融合和處理，這將推動(dòng)數(shù)據(jù)的標(biāo)準(zhǔn)化和規(guī)范化，促進(jìn)不同來(lái)源、不同格式的數(shù)據(jù)之間的融合和共享

l緩解數(shù)據(jù)稀缺問(wèn)題

某些模態(tài)的數(shù)據(jù)可能比較稀缺或難以獲取，而多模態(tài)模型的統(tǒng)一發(fā)展可以通過(guò)利用其他模態(tài)的數(shù)據(jù)來(lái)彌補(bǔ)某一模態(tài)數(shù)據(jù)的不足

 應(yīng)用落地

l拓展應(yīng)用場(chǎng)景

統(tǒng)一的多模態(tài)模型可以打破不同模態(tài)之間的界限，為各種創(chuàng)新應(yīng)用場(chǎng)景的開(kāi)發(fā)提供了可能。例如，在文化娛樂(lè)領(lǐng)域，可以打造出具有多模態(tài)交互功能的虛擬現(xiàn)實(shí)（VR）或增強(qiáng)現(xiàn)實(shí)（AR）游戲，讓玩家沉浸在更加豐富的虛擬世界中等

l降低應(yīng)用成本

對(duì)于企業(yè)和開(kāi)發(fā)者來(lái)說(shuō)，使用統(tǒng)一的多模態(tài)模型可以減少對(duì)不同單一模態(tài)模型的開(kāi)發(fā)和維護(hù)成本

l提高應(yīng)用效率和質(zhì)量

多模態(tài)模型的統(tǒng)一發(fā)展使得不同模態(tài)的數(shù)據(jù)能夠在一個(gè)模型中進(jìn)行協(xié)同處理，減少了數(shù)據(jù)在不同模型之間的轉(zhuǎn)換和傳輸時(shí)間，提高了應(yīng)用的效率。同時(shí)，統(tǒng)一模型能夠更好地整合多模態(tài)信息，做出更準(zhǔn)確、更全面的決策和判斷，從而提高應(yīng)用的質(zhì)量和可靠性

以上觀點(diǎn)摘錄自《2025年AI產(chǎn)業(yè)發(fā)展十大趨勢(shì)》