近日，煙臺(tái)大學(xué)計(jì)算機(jī)與控制工程學(xué)院劉志中教授團(tuán)隊(duì)，在多模態(tài)情感分析方面的最新研究成果發(fā)表在國(guó)際頂級(jí)期刊《Knowledge-Based Systems》(KBS)上。該期刊主要報(bào)道計(jì)算機(jī)、人工智能相關(guān)領(lǐng)域最新研究成果與應(yīng)用實(shí)踐，屬于國(guó)際一流期刊(中科院SCI一區(qū)Top期刊，影響因子7.6)。所發(fā)表論文的題目為“Personalized Multimodal Sentiment Analysis under Uncertain Modalities Missing via Pretraining and Online Learning”。
該研究工作首次提出了“不確定模態(tài)缺失環(huán)境下個(gè)性化多模態(tài)情感分析”這一挑戰(zhàn)性問(wèn)題，基于預(yù)訓(xùn)練與在線(xiàn)學(xué)習(xí)思想，設(shè)計(jì)了一種個(gè)性化多模態(tài)情感分析模型(如圖1所示)；具體地，通過(guò)基于公用數(shù)據(jù)集的預(yù)訓(xùn)練操作使所設(shè)計(jì)的模型具備初步的個(gè)性化情感分析能力；再通過(guò)所設(shè)計(jì)的在線(xiàn)學(xué)習(xí)策略，使模型實(shí)現(xiàn)對(duì)個(gè)性化用戶(hù)特征的在線(xiàn)學(xué)習(xí)，最終實(shí)現(xiàn)對(duì)個(gè)性化用戶(hù)情緒的準(zhǔn)確識(shí)別。該研究成果在智慧養(yǎng)老、智慧教育、抑郁癥患者監(jiān)護(hù)、智能交通等領(lǐng)域具有較好的應(yīng)用價(jià)值。
圖1 個(gè)性化多模態(tài)情緒識(shí)別模型結(jié)構(gòu)圖
該研究成果提出了兩項(xiàng)關(guān)鍵技術(shù)：一是重用融合模態(tài)進(jìn)行缺失模態(tài)補(bǔ)全。該方法首先使用神經(jīng)網(wǎng)絡(luò)評(píng)估模塊為融合模態(tài)中的每個(gè)模態(tài)分配不同的權(quán)重，然后將融合模態(tài)與每個(gè)加權(quán)后的模態(tài)進(jìn)行融合，從而優(yōu)化與補(bǔ)全每個(gè)模態(tài)。二是提出了一套在線(xiàn)學(xué)習(xí)策略，包括自適應(yīng)學(xué)習(xí)率調(diào)整策略、在線(xiàn)元學(xué)習(xí)策略以及自適應(yīng)權(quán)重分配策略，從而賦予模型較好的在線(xiàn)學(xué)習(xí)能力。
該研究成果以煙臺(tái)大學(xué)為第一單位，研究生孫鴻祥為第一作者，劉志中為通訊作者。近年來(lái)，該團(tuán)隊(duì)持續(xù)深入多模態(tài)情感分析方法研究并取得了一系列研究成果，已發(fā)表中科院SCI一區(qū)期刊論文3篇。該研究工作是在國(guó)家自然科學(xué)基金面上項(xiàng)目、山東省自然科學(xué)基金重點(diǎn)項(xiàng)目的資助下完成的。
來(lái)稿時(shí)間：9月10日 審核：劉俞斌 責(zé)任編輯：劉運(yùn)正
