10分钟换脸视频诈骗430万？AI反制刻不容缓

当生成式AI技术不断精进，各种诈骗手段也随之魔高一尺。从商业邮件攻击到模拟真人视频通话，犯罪分子们实施高科技犯罪的门槛大大降低，骗局的识别难度也越来越高。

技术本身是无罪的，但却很难预防其被应用于犯罪领域。值得庆幸的是，目前在图片、视频等领域，一些反AIGC的技术也陆续登场，相关企业也展开了业务布局，生成式AI用于诈骗的技术攻防战，已然打响。

ChatGPT的邪恶双生子

虽然AI的生成能力是不受限的，但相关企业在通过生成式AI提供服务时也会受到一定的法律限制，例如OpenAI就因为道德和数据安全隐患遭到美国监管机构的审查，企业若要解决这个问题还需通过算法优化、限制不法内容的生成。但将技术用于犯罪的需求始终存在，当公开网络中的产品因法律限制无法满足其需求，便滋生出规避了这些限制、专门用于犯罪目的的生成式AI工具。

今年7月，一款名为WormGPT的恶意AI工具横空出世。WormGPT被称为“邪恶版”ChatGPT，性能强大且没有任何道德界限或技术伦理限制。网络安全公司的调查显示，WormGPT基于2021年开源的LLM GPT-J模型开发，用许多与恶意软件相关的数据进行了训练，具备无限制字符支持、代码格式能力等功能。它可以和ChatGPT一样处理人类自然语言提出的要求，并根据要求输出相关文字内容。

与ChatGPT、Bard等大公司的大模型应用相比，由黑客设计的WormGPT本身就游走于灰色地带，根本不在意相关的法律义务或道德限制。

WormGPT收费标准为每月60欧元（约480元人民币），虽然价格较高，但可以被要求执行各种恶意任务，堪称网络犯罪分子的宝藏军火库。通过这一工具，用户可以完成任何类型的黑帽攻击（针对计算机、网络、移动设备等安全系统漏洞的攻击），包括生成用Python编写的恶意软件、伪造电子邮件信息进行钓鱼攻击或邮件泄露攻击。

并且由于生成式AI的特性，其生成的邮件一般没有语法错误，减少了被标记为垃圾邮件的可能性，比起传统的钓鱼攻击更加难以识别。

与之类似的，最近一款名为FraudGPT的AI工具近期也在暗网上流通，被用于编写网络钓鱼邮件和开发恶意软件。FraudGPT基于更新的GPT-3模型，价格也更加昂贵，每月订购价格高达200美元（约1441元人民币），是ChatGPT Plus的10倍。

较之WormGPT，FraudGPT的功能也更强大，运用方式更简单、直接、高效、更具威胁性，用户通过简单问答，即可创建钓鱼网站页面、找到最容易受害的目标、编写欺诈性的短信和软件。

看清AI背后的那张脸

除了邮件诈骗，通过AI换脸、AI换声的视频诈骗则为骗局创造了更真实的体验，试想当你接到一个熟人的视频电话，对方样貌、声音都明确无误，向你请求巨额资金周转，这时你借还是不借？

现实中，已经有人因此受骗。今年4月，福州市一公司法人郭先生10分钟内被人用佯装成好友的AI换脸视频诈骗430万元。5月，安庆市何先生因一段伪造成熟人的9秒AI换脸视频被诈骗245万元……类似的案例已经层出不穷。据公安部最新发布会通报，随着人脸识别技术的广泛应用和人工智能技术的进步，人脸识别验证类犯罪伴随而生。目前，公安部已破获“AI换脸”案件79起，抓获犯罪嫌疑人515名。

最近两三年里，在Deepfake等技术的支撑下，AI换脸技术已飞入寻常百姓家，在国内视频网站，通过AI换脸生成的整活视频传播度高达几十上百万。但这种恶搞性质的换脸并未造成太多实质性的社会危害，可当AI换脸被用于非法牟利，其伤害程度将指数型上升。除了上述一对一的高额诈骗，通过图片处理软件对素人照片一键脱衣、将色情视频中的主角换脸成明星，性质相当恶劣。

而AI换声的实现方式也已经相当简单高效——就如微软在今年初发布的声音生成工具VALL-E，只需3秒即可模仿一个人的嗓音说话。资料显示，其经过60000小时语音训练，可以复制说话者的情绪和语气，生成其从未说过的内容。

多模态大模型的迭代不断降低着各类内容的生成门槛，也不断模糊着真实内容与生成内容的边界。当“有图”不再意味着“有真相”，加强AI反制技术的研究愈发迫在眉睫。

在前端，对输入生成式AI工具的文字进行语义检查以杜绝模型生成有害内容。对于包含人脸的照片，在前端可以通过技术处理嵌入不影响图片本身展示的干扰“噪声”，得到免疫图片，直接切断AI生成的通路，有心之人尝试对这类人像图片进行处理时只能得到堆满马赛克或被扭曲的图片。

在内容生成的终端，还可以利用深度合成检测技术，分析图像、视频等内容的特征，从而判断其是否经过合成或修改，及时发现生成内容中的虚假成分。

例如，在AI生成的图片、视频等数字内容中嵌入包含内容来源等信息的“数字水印”，在怀疑数字内容真实性时可查看水印中的相关信息进行溯源。这虽然不能从根源上防止有心之人利用AI作恶，但却能提高对AI生成内容的识别和检测效率。类似的，国外采用类似区块链的C2PA协议给图片中每个像素的来源信息进行编码，可以记录并查看数字内容的创作者、修改记录等信息。目前，微软、Adobe、Arm、BBC、英特尔等公司已将此协议嵌入到自家产品中，对AI生成的图像进行标记，并披露元数据的来源。

以可信AI完善AI治理

历经知识驱动、数据驱动，人工智能来到2.0时代，除了必然发生的科技革命和产业变革，人工智能的治理也必不可少。清华大学人工智能研究院院长张钹指出，当下利用大数据的机器学习生成的内容往往不一定符合道德、伦理、政治的标准，他主张发展第三代安全、可信、可控、可靠、可扩展的人工智能，他认为第三代人工智能理论应具有可解释的鲁棒性。

目前，国内布局可信AI相关技术与产品的还有网易易盾、合合信息、清华大学孵化的瑞莱智慧RealAI、腾讯优图实验室等企业机构。

其中，网易易盾研发了针对图片、音频、视频的“深度伪造检测”技术，利用AI技术发现带有伪造嫌疑的视频。多年来，易盾从数据的源头入手，通过攻击的方法来模拟更多攻击的方法，扩充更多攻击数据，以培训计算机检测AI合成内容，可应用功能包括“人脸鉴伪”与“声纹鉴伪”。

合合信息研发的AI生成式图像鉴别技术，基于空域与频域关系建模，能在不用穷举图片的情况下，利用多维度特征来分辨真实图片和生成式图片的细微差异。合合信息研发了OCR对抗攻击技术来进行文档图片“加密”，对关键信息进行遮盖，在不影响肉眼观看的情况下，阻止图片中指定的目标文本被机器自动爬取。

可信AI已成为新阶段平衡人工智能创新与风险的重要手段。今年以来，中国信通院先后遴选出25项基于可信AI的知识计算应用优秀案例，以及24项基于可信AI的大模型研发应用与工具平台优秀案例，百度、达观数据、科大讯飞、渊亭科技、爱数、阿里云、联汇、创新奇智、浦发银行、百应科技等数十家企业的应用入围，覆盖金融、政务、交通、电信、能源、互联网、通信、软件等十余个垂直行业。

​Read More