社交互動(dòng)，是人類作為社會(huì)性動(dòng)物所必須進(jìn)行的行為活動(dòng)。
在你來(lái)我往的互動(dòng)中，我們會(huì)有怎樣的行為表現(xiàn)？

現(xiàn)在，您可以回想一段與他人互動(dòng)的經(jīng)歷并思考以下問(wèn)題：

當(dāng)您與他人互動(dòng)時(shí)，會(huì)下意識(shí)地模仿對(duì)方的行為嗎？
當(dāng)您希望互動(dòng)更加順暢時(shí)，會(huì)不會(huì)隨對(duì)方的點(diǎn)頭動(dòng)作而點(diǎn)點(diǎn)頭？
當(dāng)您與他相談甚歡，對(duì)他抱有好感與信任時(shí)，會(huì)不會(huì)隨他一起微笑？


其實(shí)，在社會(huì)交往中人們經(jīng)常無(wú)意識(shí)地模仿對(duì)方的行為以增進(jìn)互動(dòng)，這可能發(fā)生在運(yùn)動(dòng)層面(如微笑或頭部運(yùn)動(dòng))，也可能發(fā)生在自主神經(jīng)層面(如瞳孔擴(kuò)散)。而隨著虛擬與現(xiàn)實(shí)的邊界逐漸模糊，我們的社交對(duì)象也發(fā)生著變化。與虛擬人物的一場(chǎng)社交互動(dòng)，就悄然在生活的各個(gè)場(chǎng)景中進(jìn)行。

那么，當(dāng)我們的互動(dòng)對(duì)象是一個(gè)虛擬人物時(shí)，這些模仿行為還會(huì)發(fā)生嗎？對(duì)于這種虛擬社交，“社恐"們會(huì)有不同的行為表現(xiàn)嗎？

來(lái)自于《International Journal of Human Computer Studies》的最新研究，或許能給您帶來(lái)一些答案與思考。研究旨在探討人與虛擬人的社交互動(dòng)中模仿行為表現(xiàn)，研究團(tuán)隊(duì)通過(guò)讓人與虛擬人互動(dòng)，探索模仿行為、人際感知和社交焦慮水平之間的關(guān)系，使用多模態(tài)實(shí)驗(yàn)研究，探究了人們模仿虛擬人行為的程度，模仿是否有利于互動(dòng)，以及模仿是否受到社交焦慮水平的影響(Fasya et al.,2024)。


“學(xué)人",是為了更好地互動(dòng)
在社會(huì)交往中，人類通過(guò)語(yǔ)言和非語(yǔ)言來(lái)交流信息。非語(yǔ)言指通過(guò)面部表情和肢體語(yǔ)言來(lái)分享意圖和情緒，或以生理喚醒表現(xiàn)。通常情況下，情緒表達(dá)會(huì)被觀察者無(wú)意識(shí)地模仿，這同樣可能發(fā)生在不同層面，如運(yùn)動(dòng)層面(如微笑或頭部運(yùn)動(dòng))或自主神經(jīng)層面(如瞳孔擴(kuò)散)。人體姿勢(shì)或面部表情的模仿是由運(yùn)動(dòng)肌肉控制的，而生理喚醒的模仿是由自主神經(jīng)系統(tǒng)（ANS）控制的。


根據(jù)情緒感染的神經(jīng)認(rèn)知模型(Prochazcova and Kret, 2017)，模仿始于一個(gè)人在社會(huì)互動(dòng)中表達(dá)的情緒被互動(dòng)對(duì)象感知，觸發(fā)了互動(dòng)對(duì)象自己的情緒表達(dá)，從而導(dǎo)致運(yùn)動(dòng)層面(如微笑或頭部運(yùn)動(dòng))或自主神經(jīng)層面（如瞳孔擴(kuò)張）的模仿。由于自主神經(jīng)層面的模仿是由ANS調(diào)節(jié)的，所以與運(yùn)動(dòng)層面的模仿相比，其控制難度要大得多。因此，它可以提供更多關(guān)于被模仿情緒的感知強(qiáng)度或真實(shí)性的信息。

事實(shí)證明，在社會(huì)互動(dòng)中，模仿通常與喜歡和信任的增加有關(guān)，而且往往會(huì)使互動(dòng)者之間的關(guān)系更加融洽，與信任增加等親社會(huì)行為有關(guān) (Kret et al, 2015)。


人類與虛擬人互動(dòng)，也會(huì)互相模仿嗎？
在模仿行為的研究中，對(duì)情緒表情的模仿的通常使用照片、視頻，或直接與真實(shí)的人類進(jìn)行現(xiàn)場(chǎng)互動(dòng)，創(chuàng)建二元互動(dòng)的場(chǎng)景。而在某種程度上，感知他人的情緒并對(duì)其做出反應(yīng)可以獨(dú)立于互動(dòng)環(huán)境而發(fā)生。雖然研究真實(shí)的二元互動(dòng)是生態(tài)效度的方法之一，但也存在很難控制變量的問(wèn)題。

將虛擬人運(yùn)用到社交場(chǎng)景中，可以產(chǎn)生一種“中間立場(chǎng)"，以控制實(shí)驗(yàn)并提高生態(tài)有效性。例如，通過(guò)使用虛擬人作為模仿者，可以確保虛擬人只在特定時(shí)間內(nèi)表達(dá)特定類型的行為，同時(shí)提供一個(gè)緊密復(fù)制現(xiàn)實(shí)社會(huì)互動(dòng)的環(huán)境。

而隨著虛擬與現(xiàn)實(shí)邊界的逐漸模糊，人與虛擬人之間的互動(dòng)在不斷增加，許多領(lǐng)域都涉及與虛擬人進(jìn)行社交互動(dòng)的場(chǎng)景，如虛擬教練，醫(yī)療保健或虛擬援助等。

因此，我們需要進(jìn)一步關(guān)注人類與虛擬人的互動(dòng)行為：
模仿行為在人類與虛擬人互動(dòng)中仍然會(huì)發(fā)生嗎？
模仿行為在虛擬互動(dòng)中會(huì)產(chǎn)生怎樣的親社會(huì)效應(yīng)？

過(guò)往研究較多在探討虛擬人模仿人類是如何影響社交互動(dòng)的，對(duì)于人類模仿虛擬人對(duì)社交互動(dòng)的影響的研究，結(jié)果表明，在運(yùn)動(dòng)模仿層面，當(dāng)虛擬人微笑時(shí)，人們會(huì)表現(xiàn)出更多的微笑(Mattheij et al, 2015)和更長(zhǎng)時(shí)間的微笑(Kramer et al, 2013)；Stel等人(2010)的研究表明，人們模仿虛擬人的頭部運(yùn)動(dòng)比模仿其嘴部和眉毛運(yùn)動(dòng)更多。然而，在他們的研究中，被試是處于兩種特定的行為選擇下行動(dòng)的，即要么模仿，要么不模仿。因此，沒(méi)有提供人與虛擬人互動(dòng)中自主模仿的有效信息，關(guān)于社交互動(dòng)中自主模仿的研究問(wèn)題仍需探索。

因此，基于過(guò)往研究，研究團(tuán)隊(duì)想要進(jìn)一步探究社交互動(dòng)中人們模仿虛擬人行為的程度，以及模仿是否有利于互動(dòng)，以此提出以下問(wèn)題：

（1）人們是否會(huì)在在運(yùn)動(dòng)(頭部運(yùn)動(dòng)和微笑)和自主水平(瞳孔擴(kuò)張和臉紅)模仿虛擬人的面部表情? 

（2）模仿行為是否與人們對(duì)虛擬人的喜愛(ài)和信任感增加有關(guān)？



社交焦慮會(huì)改變模仿行為？
雖然模仿行為通常具有親社會(huì)效益，并且在社交互動(dòng)中經(jīng)常觀察到，但在高社交焦慮水平的人群中，模仿行為似乎會(huì)有所改變。

社交焦慮癥被定義為在一個(gè)或多個(gè)社交場(chǎng)合中，面對(duì)不熟悉的人或可能受到他人審視時(shí)的持續(xù)恐懼。最近在對(duì)不同國(guó)家的年輕人進(jìn)行的調(diào)查研究發(fā)現(xiàn)，多達(dá)三分之一的人報(bào)告自己存在一定的社交焦慮，這表明社交恐懼在年輕人中尤為普遍。社交焦慮會(huì)影響一個(gè)人在社交場(chǎng)合的行為，往往使得社交互動(dòng)無(wú)法順利進(jìn)行。因?yàn)樗麄冏⒉话?，更頻繁地尋求安慰，且微笑的互惠性較差。此外，他們經(jīng)常表現(xiàn)出安全行為，如避免目光接觸，較少說(shuō)話，不分享個(gè)人信息。采取這些行為是為了避免給人留下負(fù)面印象，但往往適得其反。

高社交焦慮水平的人通常表達(dá)能力較差，對(duì)他人情緒表達(dá)的瞳孔反應(yīng)較小，更容易臉紅。此外，研究表明，社交焦慮個(gè)體的模仿行為可能會(huì)發(fā)生改變。有研究發(fā)現(xiàn)，具有較高社交焦慮的女性會(huì)更少模仿虛擬人的頭部動(dòng)作，也有研究發(fā)現(xiàn)相反的結(jié)果，即高社交焦慮者會(huì)增強(qiáng)對(duì)微笑的模仿；這些研究均表明，模仿行為可能會(huì)受到社交焦慮的調(diào)節(jié)。這種影響可從兩個(gè)角度解釋：首先，社交焦慮者對(duì)互動(dòng)對(duì)象情緒表達(dá)的感知可能會(huì)有所不同，進(jìn)而影響模仿行為；其次，社交焦慮者對(duì)互動(dòng)對(duì)象動(dòng)作模仿的減少或增加可能是一種避免拒絕或沖突的行為策略，類似于實(shí)施一種安全行為。

繼續(xù)探究社交互動(dòng)中自主性的模仿行為，我們可以更好地理解是什么原因?qū)е律缃唤箲]者的模仿行為發(fā)生改變。因此，本研究同時(shí)想要探究：模仿行為是否受到社交焦慮的調(diào)節(jié)?


多模態(tài)社交互動(dòng)行為實(shí)驗(yàn)
實(shí)驗(yàn)共招募65名被試(53名女性，12名男性)，年齡為18-39歲(M=22.4;Sd = 3.92)。

在實(shí)驗(yàn)開始前，被試需要填寫社交焦慮問(wèn)卷(LSAS)，然后閱讀投資游戲說(shuō)明進(jìn)行練習(xí)，并在右臉頰佩戴皮膚溫度傳感器。隨后指導(dǎo)被試戴上耳機(jī)，坐在顯示屏前進(jìn)行眼動(dòng)校準(zhǔn)，進(jìn)入實(shí)驗(yàn)任務(wù)：分別觀看10個(gè)虛擬人在電腦顯示器上講述一個(gè)中性的故事。在預(yù)定的時(shí)間點(diǎn)，虛擬人會(huì)表現(xiàn)出四種表情和動(dòng)作:微笑、頭部運(yùn)動(dòng)、瞳孔擴(kuò)張和臉紅。此過(guò)程中，全程使用諾達(dá)思 The Observer XT 記錄被試的行為與動(dòng)作。在每個(gè)故事結(jié)束后，被試填寫虛擬角色評(píng)價(jià)問(wèn)卷（AEQ）、未來(lái)互動(dòng)意愿量表(DFI)以評(píng)估他對(duì)虛擬人的好感度，并完成一個(gè)投資游戲來(lái)衡量他對(duì)虛擬人的信任程度。

• 虛擬人的面部表情與頭部運(yùn)動(dòng)

實(shí)驗(yàn)共設(shè)置10個(gè)虛擬人物(5位女性，5位男性)的動(dòng)畫展示，他們?cè)谝粋€(gè)虛擬室內(nèi)房間里講述一個(gè)中性的故事，這些故事都是關(guān)于打排球、看電影或度假等日常生活事件。虛擬人是計(jì)算機(jī)創(chuàng)建的3D人形模型。在每個(gè)試次中，虛擬人都將分別在10個(gè)時(shí)間點(diǎn)顯示一種表情或動(dòng)作。

共有四種表情類型:微笑、頭部運(yùn)動(dòng)、瞳孔變大或臉紅(圖1)，其中頭部的動(dòng)作是點(diǎn)頭、搖頭或擺頭。


每個(gè)表情顯示4秒，每個(gè)表情之間有9秒的中性表情。除此之外，虛擬人也會(huì)根據(jù)不同故事內(nèi)容依據(jù)音節(jié)自動(dòng)做出嘴型動(dòng)作，并在故事的相應(yīng)時(shí)間點(diǎn)揚(yáng)眉或斜視，讓整體行為表現(xiàn)更加自然。

此外，虛擬人帶有微笑和瞳孔擴(kuò)張的混合行為狀態(tài)。在4秒內(nèi)，微笑或瞳孔直徑會(huì)從平均值變到最大，保持2秒穩(wěn)定，并在最后一秒縮小回正常狀態(tài)(圖2)。

虛擬人的平均瞳孔大小和最大瞳孔大小

臉紅表情是通過(guò)在虛擬人的臉頰上疊加一層紅色來(lái)實(shí)現(xiàn)；頭部的運(yùn)動(dòng)是運(yùn)用動(dòng)畫功能實(shí)現(xiàn)，在4秒內(nèi)呈現(xiàn)兩次。例如，虛擬人在4秒內(nèi)會(huì)點(diǎn)頭兩次。

• 記錄被試多模態(tài)行為表現(xiàn)

1、頭部運(yùn)動(dòng)和微笑表情
實(shí)驗(yàn)全程錄制被試面部表情及頭部動(dòng)作，使用諾達(dá)思的行為觀察記錄分析系統(tǒng)（The Observer XT）對(duì)視頻記錄進(jìn)行編碼，共有61人的視頻有效并被編碼。

編碼行為主要為:微笑、皺眉、其他面部動(dòng)作、點(diǎn)頭、搖頭、晃頭、其他頭部動(dòng)作和移動(dòng)位置，但只有微笑和頭部動(dòng)作(點(diǎn)頭、搖頭和晃頭)被納入分析。

為了定義被試是否在互動(dòng)中產(chǎn)生微笑表情或頭部運(yùn)動(dòng)，研究者將虛擬人展現(xiàn)表情后的特定時(shí)間段（4秒）設(shè)置為被試行為的響應(yīng)時(shí)間窗口，并創(chuàng)建了一個(gè) python 程序，將編碼結(jié)果匯總為兩個(gè)二進(jìn)制變量：頭部運(yùn)動(dòng)反應(yīng)（HRESP）和微笑反應(yīng)（SRESP）。數(shù)值為 1 表示在虛擬人展現(xiàn)任意表情或頭部運(yùn)動(dòng)后的響應(yīng)窗口內(nèi)，被試產(chǎn)生了行為（頭部運(yùn)動(dòng)或微笑）。例如，任意故事中虛擬人的第一個(gè)表情出現(xiàn)在00:07-00:11，那么該行為的響應(yīng)窗口為00:07-00:15。如果在此時(shí)間段內(nèi)（如 00:15）出現(xiàn)了微笑，則該表情的 SRESP = 1，否則 SRESP = 0。

為了評(píng)估觀察者間的信度，共有3名編碼員參與編碼與二次編碼，行為觀察記錄分析系統(tǒng)（The Observer XT）會(huì)采用Cohen’s kappa計(jì)算3名編碼員之間HRESP和SRESP的一致性。結(jié)果表明，編碼者兩兩之間的均具有中度一致性。

2、瞳孔擴(kuò)散
使用Tobii X2-60眼動(dòng)儀(采樣率60 Hz)和Tobii Pro Unity軟件開發(fā)工具包(SDK)測(cè)量被試的瞳孔直徑大小。使用 python 程序進(jìn)行預(yù)處理，得出被試的瞳孔大小反應(yīng) (PRESP)。

3、臉紅反應(yīng)
使用配備 SKT 100C 模塊的 Biopac MP150（采樣率為 2000 Hz）和 AcqKnowledge 5.0.3 記錄被試臉頰的皮膚溫度。使用python程序進(jìn)行預(yù)處理，得出被試的臉紅反應(yīng)(BRESP)。


微笑模仿：虛擬社交的粘合劑

• 微笑模仿行為在虛擬社交中的發(fā)生

對(duì)于運(yùn)動(dòng)水平的模仿，研究結(jié)果表明(圖3)，與虛擬人的其他表情相比，被試更有可能模仿虛擬人的微笑[F(1,6088)=7.722;p=.005]。這說(shuō)明微笑模仿發(fā)生在人類與虛擬人類的互動(dòng)中，即人們會(huì)模仿虛擬人的微笑。

圖3

而頭部運(yùn)動(dòng)行為的結(jié)果表明，被試的頭部運(yùn)動(dòng)不受虛擬人頭部運(yùn)動(dòng)的影響[F(1,5788)=1.595;p=.207]，即人們不會(huì)模仿虛擬人的頭部運(yùn)動(dòng)。這種結(jié)果可能是出于文化背景下，虛擬人頭部運(yùn)動(dòng)對(duì)于被試來(lái)說(shuō)不夠自然，且存在其他變量的影響。因此研究者建議未來(lái)研究中可以考慮只探究對(duì)于點(diǎn)頭或搖頭的頭部模仿，排除頭部晃動(dòng)的額外因素，以更好地探究模仿和被模仿的頭部運(yùn)動(dòng)行為是否能在與虛擬人的互動(dòng)中創(chuàng)造融洽的關(guān)系。

對(duì)于自主神經(jīng)水平的模仿，研究結(jié)果發(fā)現(xiàn)，被試的瞳孔大小不受虛擬人瞳孔擴(kuò)張的影響[F(1,4485)= 0.050;p=.823]；皮膚溫度也不受虛擬人臉紅表情的影響[F(1,6078)= 0.020;p=.888]。這表明平均而言，在人們與虛擬人社交互動(dòng)中，瞳孔擴(kuò)張和臉紅的模仿沒(méi)有發(fā)生。這可能是由于虛擬人瞳孔擴(kuò)張的刺激變化不夠明顯，以及臉紅反應(yīng)的發(fā)生不夠自然，導(dǎo)致被試對(duì)其變化的感受與關(guān)注度較低，需要在未來(lái)研究中更好地開展控制實(shí)驗(yàn)進(jìn)行探究。

• 微笑模仿行為的親社會(huì)效應(yīng)

對(duì)于模仿行為與喜愛(ài)與信任的相關(guān)關(guān)系，研究結(jié)果表明（圖4），微笑模仿對(duì)虛擬角色評(píng)價(jià)問(wèn)卷(AEQ)評(píng)分有顯著影響[F(1,1521) = 12.592；P<0.001]；對(duì)未來(lái)互動(dòng)意愿量表(DFI)評(píng)分也有顯著影響[F(1,1521) =14.431；P<.001]，同樣也與對(duì)虛擬人的信任度評(píng)分有顯著影響 [F(1,1471)=9.801;P=.002]。


圖4

這表明，當(dāng)人們模仿虛擬人的微笑時(shí)，他們對(duì)虛擬人的評(píng)價(jià)更加積極，對(duì)與其未來(lái)互動(dòng)有更多的渴望，并有更強(qiáng)的信任感。而頭部動(dòng)作模仿、瞳孔擴(kuò)張、臉紅與喜愛(ài)與信任度評(píng)分均無(wú)相關(guān)性。

該研究結(jié)果表明，微笑模仿的親社會(huì)行為效益同樣可以延伸到人類與虛擬人的互動(dòng)中。而對(duì)于頭部運(yùn)動(dòng)、瞳孔擴(kuò)張和臉紅模仿方面對(duì)于好感與信任度的相關(guān)關(guān)系，過(guò)往研究也有不同的結(jié)果呈現(xiàn)，需要繼續(xù)操縱變量進(jìn)行探究。

• 社交焦慮的影響需要進(jìn)一步考量

對(duì)于社交焦慮對(duì)模仿行為影響，結(jié)果表明無(wú)顯著影響(表1)，即社交焦慮對(duì)虛擬人的表情和動(dòng)作與被試模仿行為之間的關(guān)系沒(méi)有調(diào)節(jié)作用。

表1
對(duì)于這一研究結(jié)果，研究者分析認(rèn)為，在微笑模仿中，虛擬人沒(méi)有依據(jù)故事內(nèi)容，而只是隨機(jī)展現(xiàn)微笑，這可能會(huì)讓被試感到這是一個(gè)出于禮貌的微笑，而不是快樂(lè)的微笑。而對(duì)于高社交焦慮者來(lái)說(shuō)，他們可能只會(huì)在開心的微笑時(shí)表現(xiàn)出較少的模仿，而不是禮貌的微笑。未來(lái)研究可以考慮設(shè)置不同類型的微笑作為刺激，來(lái)更精確地編碼互動(dòng)者的微笑表情。

同時(shí)，社交焦慮對(duì)行為的影響可能與情境有關(guān)。有研究發(fā)現(xiàn)，當(dāng)存在負(fù)面社會(huì)評(píng)價(jià)風(fēng)險(xiǎn)時(shí)，社交焦慮會(huì)影響個(gè)人信息的披露情況。在本研究中，虛擬人的互動(dòng)對(duì)高度社交焦慮者來(lái)說(shuō)威脅較小，所以人們的模仿行為之間的差異并不會(huì)受社交焦慮水平影響。在未來(lái)研究中，可以考慮互動(dòng)情景的設(shè)立。此外，本研究實(shí)驗(yàn)招募的被試中，包含的社交焦慮水平較高的人較少，而為了保證樣本的多樣性，應(yīng)該對(duì)被試進(jìn)行預(yù)篩選，獲得不同社交焦慮水平的群體以獲取更加敏感的結(jié)果差異。


總結(jié)
本研究探討了人們模仿虛擬人行為的程度，這種模仿是否有利于互動(dòng)以及模仿是否受到社交焦慮水平的影響，驗(yàn)證了過(guò)往研究并對(duì)微笑模仿行為研究提供了結(jié)合生態(tài)效度與實(shí)驗(yàn)控制的實(shí)證基礎(chǔ)。

結(jié)果發(fā)現(xiàn)，在人與虛擬人的互動(dòng)中，無(wú)論焦慮程度如何，人們都會(huì)模仿虛擬人的微笑，而微笑模仿與對(duì)虛擬人的好感和信任度增加有關(guān)。這表明，微笑模仿是一種社交粘合劑，同樣有利于虛擬社交互動(dòng)。它能增加人們對(duì)虛擬人的好感和信任，從而使人與虛擬人的互動(dòng)更加順暢。

參考文獻(xiàn)
Fasya, E. L., van den Bos, E., Heylen, D. K., & Kret, M. E. (2024). Smile mimicry smoothens human-virtual human interactions. International Journal of Human-Computer Studies, 183, 103182.
Jefferies, P., Ungar, M., (2020). Social anxiety in young people: a prevalence study in seven countries. PLoS ONE. 15 (9), e0239133.
Kramer, ¨ N., Kopp, S., Becker-Asano, C., Sommer, N., (2013). Smile and the world will smile with you—the effects of a virtual agent‘s smile on users’ evaluation and behavior. Int. J. Hum. Comput. Stud. 71 (3), 335–349.
Kret, M.E., Fischer, A.H., de Dreu, C.K.W., (2015). Pupil mimicry correlates with trust in in-group partners with dilating pupils. Psychol. Sci. 26 (9), 1401–1410.
Mattheij, R., Postma-Nilsenova, ′ M., Postma, E., (2015). Mirror mirror on the wall. J. Ambient. Intell. Smart Environ. 7 (2), 121–132.
Prochazkova, E., Kret, M.E., (2017). Connecting minds and sharing emotions through mimicry: a neurocognitive model of emotional contagion. Neurosci. Biobehav. Rev. 80, 99–114.
Stel, M., Blascovich, J., Mccall, C., Mastop, J., van Baaren, R.B., Vonk, R., (2010). Mimicking disliked others: effects of a priori liking on the mimicry-liking link. Eur. J.Soc. Psychol. 40 (5), 867–880.

關(guān)注諾達(dá)思公眾號(hào)，聯(lián)系我們獲取更多產(chǎn)品信息及學(xué)術(shù)文章！