专题好文 | 创新视听内容的联合创作: 计算机艺术面临的新挑战

​

Machine Intelligence Research

近年来，人工智能生成内容(AIGC)与艺术作品主要特征的交叉研究不断深入，计算机艺术由此迅速发展。视听内容生成逐渐应用于各种实践任务，包括视频或游戏配乐、协助艺术家创作、艺术教育等方面，可见其应用前景之广。本文从利用人工智能(AI)技术进行视觉艺术生成和听觉艺术生成的视角，介绍了视听内容生成方面的创新成果。文章概述了图像和音乐数据集的发展趋势，视觉和听觉内容建模以及相关的自动生成系统。对生成样本的主客观评价在衡量算法性能方面至关重要。本文提供了从图像到音乐的多模态任务中视听内容的联合创作机制，并展示了特定程式化数据集的构建。且视听通感生成领域仍存在许多新的机遇和挑战，文章亦对此进行了全面讨论。相关成果发表于《机器智能研究(英文)》2024年第一期AI for Art专题中。

图片来自Springer

全文下载：

Cogeneration of Innovative Audio-visual Content: A New Challenge for Computing Art

Mengting Liu, Ying Zhou, Yuwei Wu, Feng Gao

https://link.springer.com/article/10.1007/s11633-023-1453-5

https://www.mi-research.net/en/article/doi/10.1007/s11633-023-1453-5

全文导读

1936年，瓦尔特·本雅明在《机械复制时代的艺术作品》中提出了“光晕”和“真实性”的概念，以描述由艺术家创作而非机械复制品创作的原作品的价值。本雅明想要捍卫艺术作品的人工性并支持传统美术。米切尔在其2005年的作品《图片想要什么？图像的生活与爱》中也关注了在”生控复制”时代艺术作品的价值。他专门提到了第一只克隆羊多莉，并将其视为一种活体图像。米切尔是艺术与人文科学领域最具代表性和影响力的理论家之一。他提出了一系列概念来解释生控复制艺术品的价值。然而，生物都是碳基的，该领域的艺术家难免受制于生物技术的发展，因此其艺术创作有时无法得到释放反而会受到压抑。一些生物学家与艺术家之间的合作也令人失望，他们似乎想通过提高视觉文化的娱乐性来普及科学知识，而缺乏一种批判性思维。因此我们需要反思的是，艺术家该如何利用先进技术进行创作。

 图1 基于AI的视觉艺术生成概览

图2 基于AI的听觉艺术生成概览

在元宇宙时代，人类面临着新的挑战。人类不仅能造出艺术品的机械复制品，生控复制品，还能造出人类自己的化身。本文提出了人工智能(AI)艺术的概念，总结了由人工智能技术产生的艺术品的主要特征，如扩展现实(XR，VR/AR/MR的组合)、网络物理系统(CPS)、云计算和区块链。AI技术人员与艺术家之间的合作比生物学家与艺术家之间的合作更为密切。人工智能技术让艺术家摆脱了繁重的工作，并让艺术家们充分发挥其艺术潜能。因此，AI就像是创作团队中的一位能力出色的伙伴，它总能及时领会艺术家的意图，开展繁重的工作，将艺术家天马行空的构思变为现实。

AI技术具有光明发展前景，在艺术设计、创作和展览中发挥着关键作用。人们容易将AI艺术的概念与计算机艺术相混淆。要注意，AI艺术比计算机艺术更为先进，并能够满足更多感官上的要求，包括视觉和听觉要求。AI艺术通常能呈现出一种人类五感的融合。艺术欣赏者可以同时感受到视觉、听觉和触觉。换句话说，人工智能技术为现代艺术展览提供了丰富的视听盛宴。

AI艺术的发展计划目前仍处于萌芽阶段。社会对AI技术的普适性存在一些担忧。有个人们耳熟能详的问题非常有趣：AI会梦见电子羊？1968年，菲利普·狄克在他的科幻小说《仿生人会梦见电子羊吗？》(《银翼杀手》和《银翼杀手2049》的灵感来源)中首次提出了这个问题。在历经关于AI伦理问题的大讨论后，该标题已经成为了代表AI可能取代人类之恐惧的核心问题。这种恐惧很快蔓延到人文学科。一些学者认为，人类应该对AI技术有所设限。然而，如果对AI技术有足够的了解，便会发现这种恐惧实在可笑。人们的这种恐惧不过是一种对未知的拒绝。顶尖的AI技术仍然需要达到人类的情感水平。发展和应用AI技术的迫切需要仍然十分强烈。

目前，AI技术在艺术领域被用于技术分类、风格迁移、交互设计、制造和文化产业等方面。AI艺术已经创造出AI生成的诗歌、VR绘画、数字媒体艺术、AI配音和智能家电。这些例子皆可作证AI艺术不容置疑的创造力。然而，一些艺术家对此颇有微词。1972年，德国艺术家约瑟夫·博伊斯在卡塞尔文献展上发表了演讲，提出了“人人都是艺术家”的观点。他的观点引起了不小的轰动。在那个时代，这只是一种想象。毕竟，并不是每个人都擅长艺术创作。但随着AI艺术的发展，这一说法似乎正在变成现实。AI无所不能，可以让任何人成为艺术家。但值得注意的是，AI的创造能力并非无穷无尽。是具有艺术创造才华的人类发明了AI。因此，AI艺术的发展与艺术家的培养并不矛盾，相反，AI艺术的传播使艺术家能够专注于他们最擅长的领域。如此一来，AI艺术的发展和传统艺术的创新便可实现双赢。

为此，本文聚焦于研究AI生成的视频与音频。视听能力通常被视为一种人类的综合感知能力。视听技术的结合极大地提高了电影、短视频和游戏等行业的创作效率。对AI视觉和听觉技术的总结以及现有成果的展示有助于从业者们前瞻艺术产业的未来发展趋势。

· 本文作者 ·

全文下载：

Cogeneration of Innovative Audio-visual Content: A New Challenge for Computing Art

Mengting Liu, Ying Zhou, Yuwei Wu, Feng Gao

https://link.springer.com/article/10.1007/s11633-023-1453-5

https://www.mi-research.net/en/article/doi/10.1007/s11633-023-1453-5

BibTex:

@Article {MIR-2022-12-376,

author={ Mengting Liu, Ying Zhou, Yuwei Wu, Feng Gao },

journal={Machine Intelligence Research},

title={Cogeneration of Innovative Audio-visual Content: A New Challenge for Computing Art},

year={2024},

volume={21},

issue={1},

pages={4-28},

doi={10.1007/s11633-023-1453-5}}

纸刊免费寄送

Machine Intelligence Research

MIR为所有读者提供免费寄送纸刊服务，如您对本篇文章感兴趣，请点击下方链接填写收件地址，编辑部将尽快为您免费寄送纸版全文！

说明：如遇特殊原因无法寄达的，将推迟邮寄时间，咨询电话010-82544737

收件信息登记：

https://www.wjx.cn‍/vm/eIyIAAI.aspx#  

∨

关于Machine Intelligence Research

Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选”中国科技期刊卓越行动计划”，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。

▼
往期目录
▼

2024年第1期 | 特约专题: AI for Art
2023年第6期 | 影像组学、机器学习、图像盲去噪、深度估计…
2023年第5期 | 生成式人工智能系统、智能网联汽车、毫秒级人脸检测器、个性化联邦学习框架… (机器智能研究MIR)
2023年第4期 | 大规模多模态预训练模型、机器翻译、联邦学习……
2023年第3期 | 人机对抗智能、边缘智能、掩码图像重建、强化学习… 
2023年第2期 · 特约专题 | 大规模预训练: 数据、模型和微调
2023年第1期 | 类脑智能机器人、联邦学习、视觉-语言预训练、伪装目标检测… 
2022年第6期 | 因果推理、视觉表征学习、视频息肉分割…
2022年第5期 | 重磅专题：类脑机器学习
2022年第4期 | 来自苏黎世联邦理工学院Luc Van Gool教授团队、清华大学戴琼海院士团队等
2022年第3期 | 聚焦自然语言处理、机器学习等领域；来自复旦大学、中国科学院自动化所等团队
2022年第2期 | 聚焦知识挖掘、5G、强化学习等领域；来自联想研究院、中国科学院自动化所等团队
主编谭铁牛院士寄语, MIR第一期正式出版！

▼
好文推荐
▼

欧洲科学院院士蒋田仔团队 | 脑成像数据的多模态融合: 方法与应用
金耀初团队&郑锋团队 | 综述: 深度工业图像异常检测
下载量TOP好文 | 人工智能领域高下载文章集锦 (2022-2023年)
引用量TOP好文 | 人工智能领域高引用文章集锦 (2022-2023年)
综述 | 清华张学工教授: 肺癌影像组学中的机器学习
哈工大江俊君团队 | DepthFormer: 利用长程关联和局部信息进行精确的单目深度估计
Luc Van Gool团队 | 通过Swin-Conv-UNet和数据合成实现实用图像盲去噪
贺威团队&王耀南院士团队 | 基于动态运动基元的机器人技能学习
乔红院士团队 | 类脑智能机器人：理论分析与系统应用 （机器智能研究MIR）
南科大于仕琪团队 | YuNet:一个速度为毫秒级的人脸检测器
上海交大严骏驰团队 | 综述: 求解布尔可满足性问题(SAT)的机器学习方法
西电公茂果团队 | 综述: 多模态数据的联邦学习
高文院士团队 | 综述: 大规模多模态预训练模型
前沿观点 | 谷歌BARD的视觉理解能力如何？对开放挑战的实证研究
港中文黄锦辉团队 | 综述: 任务型对话对话策略学习的强化学习方法
南航张道强教授团队 | 综述：用于脑影像基因组学的机器学习方法
ETHZ团队 | 一种基于深度梯度学习的高效伪装目标检测方法 （机器智能研究MIR）
Luc Van Gool团队 | 深度学习视角下的视频息肉分割
专题综述 | 高效的视觉识别: 最新进展及类脑方法综述
北大黄铁军团队 | 专题综述：视觉信息的神经解码
专题综述 | 迈向脑启发计算机视觉的新范式
专题好文 | 新型类脑去噪内源生成模型: 解决复杂噪音下的手写数字识别问题
戴琼海院士团队 | 用以图像去遮挡的基于事件增强的多模态融合混合网络
ETH Zurich重磅综述 | 人脸-素描合成：一个新的挑战
华南理工詹志辉团队 | 综述: 面向昂贵优化的进化计算
东南大学张敏灵团队 | 基于选择性特征增广的多维分类方法
联想CTO芮勇团队 | 知识挖掘：跨领域的综述
复旦邱锡鹏团队 | 综述：自然语言处理中的范式转换

▼
MIR资讯
▼

2024年 AI 领域国际学术会议参考列表
征稿启事 | AIART 2024 Call for Papers
专题征稿 | Special Issue on Transformers for Medical Image Analysis
MIR 优秀编委 & 优秀审稿人 & 高被引论文 (2023年度)
致谢审稿人 | Machine Intelligence Research
年终喜报！MIR科技期刊世界影响力指数跻身Q1区 (含100份龙年礼包)
最新 | 2023研究前沿及热点解读 (附完整PDF)
前进20名！MIR再度跻身国际影响力TOP期刊榜单
2022影响因子发布！人工智能领域最新SCI & ESCI期刊一览
喜报 | MIR入选图像图形领域 T2级 “知名期刊”！
双喜！MIR入选”2022中国科技核心期刊”，并被DBLP收录 | 机器智能研究MIR
报喜！MIR入选2022年国际影响力TOP期刊榜单
喜报 | MIR被 ESCI 收录！
喜报 | MIR 被 EI 与 Scopus 数据库收录

​Read More