國家已起草相關征求意見稿規制AI深度合成騙術 業內專家建議聯合科技企業加強技術防御（副題）

文/廣州日報全媒體記者 武威

在科技高速發展的今天，一些不法分子開始利用各種AI深度合成技術實施違法行為。日前在廣東，一位女性聲稱自己的聲音被AI軟件進行了合成，之后有人就利用她的聲音向其好友發布語音留言借錢，朋友誤以為是該女性本人于是進行轉賬，導致2萬元損失；前不久在福州，一位男性則是被一位AI換臉后的“好友”通過視頻方式騙走430萬元……目前，這些利用AI技術的深度合成騙術還有哪些類型？大眾應當如何防范？記者對此進行了調查，并采訪了一些人工智能方面的專家。

(相關資料圖)

AI換臉、AI變聲、AI假新聞……深度合成騙術引發關注

“律師界最近都十分關注這起10分鐘詐騙430萬元的案件，福州的郭先生遇上‘高端’騙局，對方通過AI換臉技術佯裝成其好友對他實施詐騙。目前，利用AI技術進行詐騙的案例屬于新型的信息網絡犯罪案件，隨著AI深度合成技術不斷成熟，類似的詐騙手法恐怕還會出現，需要公眾引起足夠大的重視。”廣東勝倫律師事務所的劉鎮東律師介紹。

劉鎮東介紹了廣東發生的另一起案件：某男性嫌疑人通過合成軟件，將自己的聲音變成年輕女性的聲音，之后他在某婚戀平臺上交友，導致多位男性上當受騙，向該嫌疑人贈送了價值不菲的禮物。最后該男子也因涉嫌詐騙罪被處罰。

琶洲實驗室智慧城市關鍵技術研究與應用團隊負責人許勇教授告訴記者，如今除了聲音和人臉合成，另一項深度合成技術的濫用也值得警惕，就是信息操縱?！癆I可以用于生成假新聞、虛假信息，進而被用來操縱社交媒體輿論。”

記者發現，AI假新聞現象時有發生：今年2月中旬，網上曾流傳出一則 “某市政府3月1日取消機動車依尾號限行”的消息，經警方調查后發現，這竟是當地某小區業主隨手用AI大語言模型生成的假新聞；5月16日凌晨，某市一雞排店門前，楊某、劉某、耿某與鄰桌李某發生口角爭執，雙方使用啤酒瓶、塑料啤酒框等斗毆，均受輕傷。視頻流傳到網絡后迅速引發關注，但一位男子陳某看到后，利用AI大語言模型生成并發布“某雞排店驚現血案，男子用磚頭砸死女子”的不實信息。經查，公安機關認定陳某惡意夸大、編造信息以博取流量，已依法對其采取刑事強制措施。

人工智能專家：多觀察臉部不自然變化 低分辨率視頻要警惕

近日，兩位人工智能方面的專家向記者介紹深度合成技術的原理。

許勇說：“首先依靠人臉檢測算法提取出人臉區域，然后用人臉關鍵點定位技術確定五官等關鍵部位的位置，提取人臉特征、面部表情和動作信息等關鍵信息，最后將提取出的特征遷移、融合到目標位置，就能實現如今我們看到的AI換臉?！?/p>

暨南大學信息科學技術學院碩士生導師林舒源則介紹：“早期移植人臉局部特征的換臉方式存在明顯的拼接痕跡，但近年隨著生成式對抗網絡和擴散模型的快速發展，其合成的人臉效果幾乎到了以假亂真的程度。目前市面上的AI換臉軟件大都基于深度學習模型/開源框架和大規模的訓練數據集，來提供逼真和可信的換臉效果。當然，也有一些軟件直接調用第三方公司開放的API接口來實現換臉。從最近的詐騙案件可以看出，當前的AI換臉技術已經足夠生成逼真的假象來欺騙受害者。”

林舒源表示，盡管未來鑒別AI換臉和真人之間的區別會變得越來越困難，但仍有可能通過分析和觀察來發現一些兩者間的差異?！拔覀円^察眼睛、嘴巴、耳朵等區域的細微特征（如光照、紋理等），那些不自然的變化可能就是AI生成的；如果視頻中的人臉與周圍環境不協調，遮擋臉部后視頻產生扭曲，則可能是AI換臉的結果。此外，如果人臉的動作、表情和語音不匹配或不自然，也可能是AI生成的?！?/p>

許勇認為：“AI換臉之后，人的表情會沒那么自然，我們可以觀察‘人臉部分’與‘身體部分’相比有沒有更加模糊或者更加清晰；也可以觀察臉的邊緣是否存在瑕疵，比如觀察人物的嘴唇動作與聲音是否同步、某些區域是否存在異常閃爍與形變等。另外，我們要對低分辨率的視頻保持額外的警惕。因為低分辨率視頻缺乏細節，所以更容易以假亂真。此外，我們可以多關注權威機構和專家的建議?！?/p>

律師：AI深度合成需取得當事人“單獨同意”

劉鎮東律師告訴記者，無論是AI變臉還是AI變聲詐騙，當事人在報案時都會存在一個重要的難點，就是他們要去證實當時要求朋友轉賬的并不是他本人，這方面，收集、固定證據會比較難。“當事人要向司法機關證明自身的生物信息是被別人竊取的，同時證明這些生物信息被他人通過AI深度合成，實施了刑法上所稱的虛構事實、隱瞞真相的欺騙行為，從而導致財產受損?！?/p>

劉鎮東認為，應進一步加強對信息網絡平臺運營方的監管，“一些平臺對個人生物信息的錄入過于寬松，導致生物信息很容易被竊??；另外，對于相關深度合成技術的監控管理目前也較為寬松?！?/p>

劉鎮東介紹，AI換臉軟件的使用存在違法、違規的可能?！懊穹ǖ涞?019條就明確規定，任何組織或者個人都不得以丑化、污損或者利用信息技術手段偽造等方式侵害他人的肖像權；去年12月，國家網信辦、工信部、公安部聯合發布《互聯網信息服務深度合成管理規定》明確，深度合成服務提供者和技術支持者提供人臉、人聲等生物識別信息編輯功能的，應當提示深度合成服務使用者，要依法告知被編輯的個人，并取得其單獨同意?！?/p>

今年4月，國家網信辦起草了《生成式人工智能服務管理辦法（征求意見稿）》，向社會公開征求意見。劉鎮東認為，該意見稿定稿發布后，深度合成技術將會受到進一步規制。

如何應對AI詐騙？

企業開發先進反制技術 市民提高警惕、及時固定證據

作為普通人，我們該如何應對深度合成騙術？

許勇建議，相關部門可以加強對群眾的宣傳教育，讓群眾了解深度合成技術的原理，從而提高對換臉詐騙的認識和警惕性，“此外，可以建立有效的監測和舉報機制，設計更加便捷的舉報途徑，對舉報信息進行及時的調查和處理，保護舉報人的權益，鼓勵群眾積極參與舉報AI換臉詐騙行為。而要應對深度合成的假新聞，我們既需要提高公眾對信息真實性的判斷能力，也要開發自動檢測和過濾假新聞的算法與工具?！?/p>

林舒源同樣認為技術防御可行：“我們應聯合各大科技公司開發出更加先進的人工智能技術，包括面部識別、圖像反欺騙等技術工具對這些騙術進行反制；同時，還應建立多重驗證機制，確保用戶的信息不會被盜取或泄露。”他表示，加強公眾教育同樣重要，科普宣傳必須保持不斷更新以適應變化。“不但要持續總結過去的成功經驗，還要不斷學習防詐新技術，總結詐騙新套路，并推廣到社區、學校、線上線下等各個領域?！?/p>

對個體而言，林舒源認為提高防范意識是減少受騙的關鍵。

首先是重視個人隱私保護?！笆忻駪斏鞯靥幚韨€人敏感信息，不隨便在互聯網上留下個人信息，尤其是面部數據；還要學會辨別虛假新聞和圖片，不輕信未經證實的信息。如果發現虛假信息或被盜用后的個人隱私，應及時舉報和處理，避免遭受更大損失?！?/p>

其次是提高警惕性。“在網絡時代，即使是與我們非常熟悉的人也可能存在身份被盜或者冒充的情況。因此，一旦出現任何可疑的情況或者讓人感到不安的交流內容，應該高度警惕，多加甄別和多重驗證，包括撥打第三方電話、面對面交流等多途徑核驗對方身份?！?/p>

第三是加強網絡安全意識?！拔覀冃枰訌娮陨砭W絡安全意識，確保各類賬號安全，不隨意泄露個人信息、身份證號碼、銀行卡信息和驗證碼等。同時，避免在不可信的網絡平臺上下載未知來源的應用程序，不打開來路不明的郵件附件，以免被惡意軟件感染等?！?/p>

劉鎮東律師也提醒，市民若不慎被這類AI合成技術所騙，或遇到一些可疑情形把握不準的，一定要注意采取錄屏、錄音等方式固定證據，并及時撥打110。

來源：廣州日報

標簽：