“假拜登來電”后美國擬宣布：用AI生成語音撥打機(jī)器人電話非法

業(yè)界來源：澎湃新聞 2024-02-04 09:58:01

·美國聯(lián)邦通信委員會(huì)將在未來幾周內(nèi)表決，是否將使用AI生成的語音撥打機(jī)器人電話（robocall）定為非法。委員們將在未來幾周內(nèi)對(duì)該提案進(jìn)行表決。

·專家指出，語音克隆公司研發(fā)App時(shí)，對(duì)于跟名人有關(guān)、誤導(dǎo)性較強(qiáng)、傳播風(fēng)險(xiǎn)較大的視頻，可以在傳播過程中加強(qiáng)顯性標(biāo)識(shí)的設(shè)計(jì)，提醒受眾。

當(dāng)?shù)貢r(shí)間1月21日，新罕布什爾州一些選民稱接到了“拜登總統(tǒng)”的自動(dòng)留言電話，告訴接聽者不要在該州初選中投票。

“人工智能模仿真人生成以假亂真的語音、圖片和視頻來欺騙消費(fèi)者，這正在制造混亂。無論電話中是你喜歡支持的名人或政客，也不論電話中的親屬與你關(guān)系如何，當(dāng)他們來電求助時(shí)，我們都有可能成為這些AI偽造電話的目標(biāo)?！?/p>

針對(duì)近期美國發(fā)生多起AI深度造假事件，當(dāng)?shù)貢r(shí)間2月1日，美國聯(lián)邦通信委員會(huì)（FCC）主席杰西卡·羅森沃塞爾（Jessica Rosenworcel）提議，將使用AI生成的語音撥打機(jī)器人電話（robocall）定為非法。

此前，AI冒充美國總統(tǒng)拜登給選民打電話、知名歌手泰勒·斯威夫特AI虛假“不雅照”在網(wǎng)上瘋傳，恰逢美國大選年，多起AI深度造假事件引發(fā)人們對(duì)人工智能造假的擔(dān)憂。

未來幾周內(nèi)對(duì)提案進(jìn)行表決

機(jī)器人電話（robocall）也被稱為預(yù)錄電話，使用計(jì)算機(jī)控制的自動(dòng)撥號(hào)器來發(fā)出預(yù)先錄制好的信息，就像機(jī)器人一樣，一般以推銷或傳播某種信息為目的，頻繁騷擾手機(jī)用戶。

美國聯(lián)邦通信委員會(huì)表示，機(jī)器人電話中用人工智能生成的聲音“在過去幾年中不斷升級(jí)”，并且“有可能通過模仿名人、政治候選人和親密家庭成員的聲音來制造錯(cuò)誤信息迷惑消費(fèi)者”。

羅森沃塞爾表示，她提出的宣告式裁決（Declaratory Ruling）將“根據(jù)現(xiàn)行法律認(rèn)定這種新興技術(shù)是非法的，這將為我們在全國各州總檢察長辦公室的合作伙伴提供新的工具，他們可以利用這些工具打擊騙局，保護(hù)消費(fèi)者?！眻?bào)道稱，委員們將在未來幾周內(nèi)對(duì)該提案進(jìn)行表決。

此次提議是在美國新罕布什爾州居民接到冒充總統(tǒng)拜登的電話后不久提出的。當(dāng)?shù)貢r(shí)間1月21日，該州一些選民稱接到了“拜登總統(tǒng)”的自動(dòng)留言電話，告訴接聽者不要在新罕布什爾州初選中投票。

白宮新聞秘書卡琳·讓-皮埃爾（Karine Jean-Pierre）22日回應(yīng)稱，“那通電話確實(shí)是假的，（拜登）總統(tǒng)沒有錄音。我可以證實(shí)這一點(diǎn)?！毙潞辈际矤栔菘倷z察長辦公室表示，正在對(duì)這些“欺騙性”信息展開調(diào)查。拜登的競選經(jīng)理朱莉·查韋斯·羅德里格斯（Julie Chavez Rodriguez）隨即在一份聲明中表示，已與新罕布什爾州總檢察長溝通，競選團(tuán)隊(duì)正在積極討論。

美國人工智能技術(shù)干預(yù)選舉的行為早有先例，不僅僅是偽造語音。2023年芝加哥市長選舉前夕，“芝加哥湖畔新聞”（Chicago Lakefront News）發(fā)布視頻抨擊溫和派民主黨人保羅·瓦拉斯（Paul Vallas）對(duì)槍擊事件視而不見。雖然瓦拉斯競選團(tuán)隊(duì)譴責(zé)該視頻由AI生成，但視頻已經(jīng)在互聯(lián)網(wǎng)上廣泛流傳。瓦拉斯最終競選失敗可能也與該視頻給他帶來的負(fù)面影響有關(guān)。

“假拜登”電話背后語音克隆公司已確定

語音克隆初創(chuàng)公司ElevenLabs證實(shí)，偽造的拜登語音是由該公司提供的工具生成。目前，ElevenLabs已暫停利用深度造假技術(shù)發(fā)布信息的賬戶。

根據(jù)ElevenLabs官網(wǎng)介紹，這家語音人工智能研究公司能夠以29種語言生成語音。該公司的安全政策規(guī)定，在克隆某人的聲音之前最好獲得其許可，但未經(jīng)許可的克隆可以用于非商業(yè)目的，包括“有助于公共辯論的政治言論”。此外，該公司警告，不得將克隆聲音用于欺詐、歧視、發(fā)表仇恨言論或任何觸犯法律的在線濫用。

據(jù)《連線》雜志1月26日報(bào)道，ElevenLabs在新一輪融資中籌集了8000萬美元，目前估值已超過11億美元，是名副其實(shí)的“獨(dú)角獸”公司。公司投資者包括知名投資人安德森·霍洛維茨（Andreessen Horowitz），GitHub前首席執(zhí)行官納特·弗里德曼（Nat Friedman）和AI實(shí)驗(yàn)室DeepMind的聯(lián)合創(chuàng)始人穆斯塔法·蘇萊曼（Mustafa Suleyman）等知名人士。

AI深度造假技術(shù)為何防不勝防？

深度造假（Deepfake）是英文“Deep learning”（深度學(xué)習(xí)）和“Fake”（偽造）的混成詞，指利用深度學(xué)習(xí)技術(shù)生成合成圖像、音頻或視頻的技術(shù)。由于公眾人物的視頻、音頻、圖片資料的公開性，為AI訓(xùn)練提供了大量素材，因此名人經(jīng)常成為AI造假的受害者。

互聯(lián)網(wǎng)安全組織“網(wǎng)絡(luò)尖刀”的一位匿名技術(shù)專家告訴澎湃科技（www.thepaper.cn），深度造假技術(shù)制作的內(nèi)容在視覺、聽覺上非常逼真，很難單憑肉眼或傳統(tǒng)的技術(shù)手段辨別真?zhèn)?。攻擊者可以利用技術(shù)手段隱藏深度造假的痕跡和特征，使其難以被檢測到。現(xiàn)在互聯(lián)網(wǎng)上存在大量圖片和視頻數(shù)據(jù)，這些數(shù)據(jù)用于訓(xùn)練深度學(xué)習(xí)模型，從而也被深度造假技術(shù)利用，“可用的數(shù)據(jù)集越多，模型的質(zhì)量就越高，深度造假的結(jié)果離真人越近?！?/p>

在傳播過程中如何加強(qiáng)對(duì)此類視頻的監(jiān)管？中國社會(huì)科學(xué)院大學(xué)互聯(lián)網(wǎng)法治研究中心執(zhí)行主任劉曉春在接受澎湃科技采訪時(shí)建議，語音克隆公司研發(fā)App時(shí)，對(duì)于跟名人有關(guān)、誤導(dǎo)性較強(qiáng)、傳播風(fēng)險(xiǎn)較大的視頻，可以在傳播過程中加強(qiáng)顯性標(biāo)識(shí)的設(shè)計(jì)，明確標(biāo)明這是一個(gè)合成內(nèi)容，提醒受眾。

劉曉春強(qiáng)調(diào)，在顯性標(biāo)識(shí)之外，技術(shù)層面上也可以設(shè)計(jì)隱性標(biāo)識(shí)，這樣在追蹤溯源時(shí)，也能從技術(shù)層面識(shí)別來源或合成的渠道?！叭绻軌蚯宄貥?biāo)明它是由哪些渠道的技術(shù)合成，這樣風(fēng)險(xiǎn)也能控制住?！眲源赫f。

前述“網(wǎng)絡(luò)尖刀”技術(shù)專家稱，深度造假識(shí)別技術(shù)比人類更敏銳，深入動(dòng)作、光線、分辨率上的破綻，在源頭發(fā)現(xiàn)造假內(nèi)容，通過識(shí)別偽造的特征和異常模式，可以盡早發(fā)現(xiàn)和阻止深度造假內(nèi)容的傳播。