近來大熱的電視劇《狂飆》突然掀起了一陣“破案”浪潮，很多觀眾化身名偵探，想要破解一個秘密。只不過，這個秘密并不是劇里的案情，而是關(guān)于這部劇本身。

原來，《狂飆》后半部分的劇情出現(xiàn)了不少大轉(zhuǎn)彎，和之前鋪墊的劇情邏輯并不一致。觀眾懷疑，這些劇情是電視劇已經(jīng)拍攝完成后，又經(jīng)過了二次剪輯、配音，將原劇情進(jìn)行了更改。

觀眾還給這個疑問提出了證據(jù)：很多劇中人的口型和臺詞對不上。觀眾盯著演員的嘴巴反復(fù)看，甚至解讀出了“原始臺詞”。

如今，許多影視作品會采取后期配音的制作方式，臺詞和口型對不上時有發(fā)生。那么，看口型猜出的臺詞，靠不靠譜呢？

動嘴巴包含的信息

咱們先來做一個小游戲。請看下面這張圖：

這是一道有趣的圖片謎題，圖上這十二個人在說自己名字拍下了“照片”。

我們知道，他們的名字分別叫做歐姆（Oom）、艾爾登（Alden）、伊斯特曼（Eastman）、阿爾弗萊德（Alfred）、阿瑟（Arthur）、盧克（Luke）、弗萊切（Fletcher）、馬修（Matthew）、西奧多（Theodore）、理查德（Richard）、舍莫（Shirmer）和西斯沃特（Hisswald）。

你能分辨出誰是誰嗎？請你放大圖片，把他們的名字念上一遍，對一對他們的口型與自己的口型。

你會發(fā)現(xiàn)，即便不借助英文發(fā)音，中國人也能猜出個大概。這正是因為咱們說話的時候，口型體現(xiàn)了正在發(fā)出的聲音。僅僅看口型，確實可以猜出一些發(fā)音。

科學(xué)家發(fā)現(xiàn)，說話的信息雖然主要靠語音，但是口型也非常重要。嬰兒在學(xué)說話的時候，會特別關(guān)注家長的口型。如果給嬰兒放一段視頻，故意把語音和口型配錯，嬰兒立刻就能發(fā)覺，顯得非常困惑。

在語言學(xué)習(xí)早期，模仿口型可以幫助學(xué)習(xí)者模仿發(fā)音。人們很早就發(fā)現(xiàn)了口型和語音對應(yīng)的規(guī)律，并且用口型來輔助理解語言。在古代，聾人就依靠看口型來理解聽人說話，這種方法叫做“唇讀”。

直到今天，許多聾人學(xué)校還會教唇讀。后天聽力下降的人一般不會學(xué)習(xí)手語，一些培訓(xùn)機(jī)構(gòu)也會幫助這些人學(xué)習(xí)唇讀，用唇讀輔助聽語音，可以幫助他們更好的溝通。許多聾人長期利用唇讀，唇讀技巧更為高超，可以看著一個人的面部動作，猜出他說的話。

這么說來，觀眾看著口型就能猜出原本的臺詞啦？可能要讓你失望了，哪怕是經(jīng)過訓(xùn)練的唇讀專家，想要完全復(fù)原臺詞也不靠譜。這又是為什么呢？

唇讀的局限

2006 年世界杯決賽中，有一次著名的犯規(guī)：法國著名球星齊達(dá)內(nèi)在比賽中突然用頭撞向意大利隊員馬特拉齊的胸口。對方應(yīng)聲摔倒，齊達(dá)內(nèi)也因為這個犯規(guī)動作遭紅牌罰下。

那場比賽本來是齊達(dá)內(nèi)代表法國國家隊打入的世界杯決賽，又是他退役前的最后一場比賽，用這種方式退場，讓球迷十分錯愕。

結(jié)合齊達(dá)內(nèi)憤怒退場的錄像和時候表現(xiàn)，人們才意識到，這次犯規(guī)事出有因。馬特拉齊對著齊達(dá)內(nèi)小聲說了什么，才讓他失控。賽后兩位當(dāng)事人卻各執(zhí)一詞。

齊達(dá)內(nèi)說，馬特拉齊出言侮辱他的姐姐和母親；馬特拉齊承認(rèn)出言不遜，卻否認(rèn)侮辱對方家人。媒體自然不會放過這個八卦，他們找來唇讀專家，對著當(dāng)時的錄像分析馬特拉齊究竟說了什么。

結(jié)果，大家解讀出的結(jié)果卻并不一致。第二年，馬特拉齊在一次采訪中透露了自己說的話，也和唇讀專家解讀的也不相同。

當(dāng)然，運動員有可能事后粉飾自己的言辭，但這個例子至少說明，人們并不能靠唇讀并不能嚴(yán)絲合縫的猜出原來的句子。

語言學(xué)家發(fā)現(xiàn)，英語大概有 40 多個可以分辨的發(fā)音，但是，多個不同的發(fā)音卻共享相近的口型。漢語的情況也一樣，你也可以對著鏡子試一下，漢語拼音b和p，k和g，還有z、c和s等等口型就非常近似。

這是因為，人們在說話的時候，喉嚨、舌頭和嘴唇都要做出相應(yīng)動作。而人們往往只能觀察到嘴唇和一點點舌頭，喉嚨的動作用眼睛完全看不到。

聾人在唇讀的時候，如果知道對話話題，又和說話人很熟悉，不僅可以通過唇讀獲取信息，還能依據(jù)上下文和對方的說話習(xí)慣提升準(zhǔn)確度。但是，如果只是遠(yuǎn)遠(yuǎn)看一眼別人嘴唇運動，沒有上下文的支持，唇讀的準(zhǔn)確性就會降低許多。

靜音之后，口型似乎更好認(rèn)了？

看來，看視頻的時候發(fā)現(xiàn)口型對不上很容易，但是單靠口型猜出原來的臺詞卻沒那么容易。不過，還有一個有趣的現(xiàn)象值得一說，有些網(wǎng)友在破譯劇情的時候發(fā)現(xiàn)了一個現(xiàn)象：直接看視頻，語音會干擾口型的判斷，但是如果把視頻關(guān)了，猜測原來的臺詞就容易一點。

沒錯，語音和口型的信息是會相互影響的。有時候，只要聽到語音，哪怕口型對不上，也不至于過分出戲。

近年來，一些演員在影視劇拍攝時甚至沒有完整念出過臺詞，而是完全靠后期配音，但依然可以制作出不過分違和的作品。而且，人們在看譯制片時也有感覺，最精妙的配音似乎是演員自然說出來的，完全沒有“配”的感覺。這正是語音影響了對口型的認(rèn)知。

反過來，口型還能影響對語音的認(rèn)知?？茖W(xué)家做過一個實驗，先錄制了一個人發(fā)出“ba”這個字音的視頻。看口型、聽聲音大家都覺得一切正常。隨后，演員的口型變成了“fa”，但聲音依然是“ba”。

此時，人們聽到的聲音一點沒變，但看著視頻，居然就聽出一點“fa”的聲音來。這個現(xiàn)象，叫做“麥格克現(xiàn)象”（McGurk effect）。它說明，人類在和人對話的時候，會自動把語音的信息和唇讀信息整合在一起?？谛妥兞?，居然也能影響到語音。

人工智能怎么又是你？

看來，唇讀包含的信息有局限，人類理解語音和口型有極限，想靠口型猜測劇情這條路是走不通了。不過，也許未來人們有辦法進(jìn)一步提升唇讀的能力，這就要靠人工智能來幫忙了。

來自 Google 的科學(xué)家找來大量視頻訓(xùn)練電腦，提升唇讀的準(zhǔn)確性。這項研究的進(jìn)展遠(yuǎn)遠(yuǎn)比不上語音識別，但是電腦也有一定的準(zhǔn)確性了。

還有，一家叫做 Jali 的人工智能公司開發(fā)了一項新技術(shù)，只要輸入語音和文字，就能讓 3D 人物自動對上口型。一些 3D 游戲能夠提供十幾種語言的配音，其中的人物表情和口型都能對應(yīng)到特定語言上。如果靠動畫師手工調(diào)整，這是一項不可能的任務(wù)，但是有了人工智能，就能做出精美的演出效果。

也許，未來的影視劇會考慮用虛擬演員替代真人。畢竟，虛擬演員的口型和臺詞永遠(yuǎn)對得上，唇讀名偵探出馬的機(jī)會都沒有了。最后，關(guān)于開頭的那個唇讀小謎題，你有解開嗎？快留言告訴我們你的答案吧！

（作者系北京師范大學(xué)認(rèn)知神經(jīng)科學(xué)碩士。中科院生物物理所副研究員陶寧審核）

關(guān)注公眾號：拾黑（shiheibook）了解更多

友情鏈接：

關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/
安全、綠色軟件下載就上極速下載站：https://www.yaorank.com/