由阿里巴巴集团、中国电子技术标准化研究院、阿里云智能集团、达摩院联合编写的《生成式人工智能治理与实践白皮书》已经编写完成。简介请点击👉《生成式人工智能治理与实践白皮书》抢先版发布!如何给生成式人工智能带好“安全带”?
现连载第三章《 生成式人工智能风险产生原因的分析》👇
生成式人工智能本质上是一个被用户使用的算法服务,从生命周期上,分为模型训练、服务上线、内容生成、内容传播四个阶段。这一算法服务通常由语言大模型和视觉大模型驱动,都离不开算力、数据、算法、生态和人才五个构成条件,也都面临内容安全、个人信息、模型安全和知识产权的问题。因此,要理解和分析生成式人工智能的风险表现,首先需要对大模型的五个构成条件有所了解。
| 1.1 算力
生成式人工智能的训练和运营需要海量算力资源支持。以ChatGPT为例,OpenAI与微软Azure云平台合作,发布了具有28.5万个CPU核心、1万个GPU和400 GB/s GPU间传输带宽的超级计算机(Azure Supercomputer),为模型的训练和日常运营提供算力基础。在训练阶段,ChatGPT算力消耗约为3640PFLOPS/天,需要7-8个投资规模5亿美元、算力500P的数据中心才能支撑,训练成本约为500万美元/次;在运营阶段,仅GPU的年投入就高达7000万美元。
随着算力需求的指数级增长,高性能硬件的重要性越来越突出。英伟达面向指数级增长的生成式人工智能计算需求,联合1500余家生成式人工智能企业共同研发符合生成式人工智能计算特点的芯片架构与专用计算引擎。
| 1.2 数据
数据,本质是知识,对生成式大模型能力的突破起着至关重要的作用。生成式大模型的训练数据集囊括了全球大量书籍、网络百科全书、论坛、博客等高质量语料库。数据规模一般接近8000亿个分词token和上百TB(清洗前)。数据的质量与规模同样重要,目前,多数公司委托数据标注外包公司或众包平台,对庞大的数据集进行手动标注,以提升数据集的质量。 另外,数据集的来源,可能涉及个人信息及国家安全。例如,用于谷歌的T5和META的LLaMA等大模型的训练的C4数据集,虽然源自公开网站,但也包括至少27个被美国政府认定为盗版和假冒产品市场的网站。重视数据合规监管和质量评估、做好数据多样性和代表性发展,提升数据集质量将是未来数据领域的必然发展趋势。
| 1.3 算力
生成式人工智能是由深度学习技术发展而来,运用了统计学、概率论、机器学习等基础知识,在文本生成和图像生成领域有着不同的技术路线,主要运用Transformer神经网络模型、基于人类反馈的强化学习(Reinforcement Learning form Human Feedback,RLHF)、零样本学习(Zero-Shot Learning)、提示学习(Prompt Learning)等创新技术。
未来,生成式大模型将朝着多模态发展,支持图像、文本、语音、视频多模态下的多种任务,在能力泛化与技术融合方面更具优势,在跨模态支撑、解决复杂任务方面具有先进性,可实现规模和范围普及,具备“基础设施”式的属性,赋能千行百业。
| 1.4 生态
谷歌、微软等企业将生成式人工智能成果开放API供用户调用,并鼓励二次开发,借助用户反馈进行优化,依托GitHub等开源社区促进版本更新,聚集广泛的开源贡献者和开发者力量,形成双向迭代的良好生态,促进生成式大模型技术飞速发展。
大模型有效解决了场景需求碎片化、应用落地难、投入重复等痛点,加速产业化进程,降低应用门槛。未来生成式人工智能将成为公共基础资源,如供水供电一般流向终端,流向用户和企业。大模型加速了人工智能技术产业化的进程,将会有广泛而深入的应用, 或将进入模型即服务的时代。
| 1.5 人才
生成式人工智能属于前沿技术,跨学科属性强,需要多学科专家。以OpenAI公司为例,联合创始人涉足风险投资、人工智能、航空航天、自动驾驶等多个领域,核心团队目前由87位核心成员组成,绝大多数来自全球顶尖高校或知名企业,是相关领域的专家。在2019年,微软向OpenAI提供了10亿美元的投资,2023年1月提供了第二笔100亿美元的投资,用于聘请更多的研究人员、建立算力和数据等技术基础设施。
语言大模型基于Transformer网络结构,分三个阶段完成训练,在生成阶段还可能借助外部工具集获取额外信息对模型提供引导。
| 2.1 Transformer网络
2018年,基于Transformer网络结构的生成式预训练模型(Generative Pre-trained Transformer,GPT)问世,用于生成自然语言文本。Transformer模型使用了自注意力机制(Self-attention Mechanism),让输入的Query自己决定哪些部分为需要关注的对象,聚焦于核心信息。
Transformer模型生成内容的流程:模型对输入的Query计算语义向量(Embedding)和位置编码(Positional Encoding);然后进入编码阶段,输入的是语义向量和位置编码,利用自注意力机制聚焦于关键对象,再进入神经网络计算。在解码阶段,也利用了自注意力机制,模型按位置逐步产生可能的输出,也就是词汇的向量表示和概率。最后是归一化,将解码阶段输出的向量,取最大概率值对应的词,转换为自然语言作为最终输出。
| 2.2 训练过程和使用的数据
语言大模型的训练目标是通过对无监督语料、有监督语料、人类反馈信号的学习,使其具备通用智能。
2.2.1 无监督预训练阶段
本阶段的目标是让模型获取语言学知识(如何像人一样说话)、世界知识(全领域的常识)、智能的涌现,如上下文学习能力(In-context learning)、思维链(Chain of thought)等,奠定模型的能力基础。模型最容易学会语言学知识,然后是世界知识,智能的涌现难度高一些。我们往往发现:模型生成的内容语句通顺、合乎语法(学会了像人一样说话);但是会犯常识错误,一本正经地胡说八道(没有完全掌握世界知识),简单的小学数学题不会做(思维链能力不足)。
无监督预训练使用从公开域搜集的海量文本信息。载体包括百科、论文、书籍、社区、新闻等;数量巨大,字数可达千亿甚至万亿级别。一次完整的训练可能需要一个月甚至更长时间;消耗的算力资源多,单次成本在百万美元级别。这一特点决定了无监督预训练不可能高频率迭代,也就是说语言大模型更新知识的周期较长,无法对近期的问题作出准确回答。
从无监督预训练的目的看,是让大模型具备通用的能力,而不是对用户个体的理解,所以并不需要主动搜集个人信息用于训练。
训练的数据中本来存在的风险可能会给语言大模型引入各种风险。目前我们并不能确定大模型是否以类似人类的方式学习了训练语料,但是可以肯定的是,大模型由于参数规模巨大,具有很强的记忆力,很可能会记住训练语料中大量的原文。这些被模型记住的内容可能包括违法不良信息、个人隐私、歧视与偏见、未经授权的知识产权内容等。如果模型真的能“学习”语料,甚至还会因为良好的泛化能力在响应用户的相似提问时“举一反三”地输出风险。
训练数据中缺失特定信息也会引入风险。从原理上讲,无监督预训练阶段会对语料中出现的内容进行统计,并计算内容之间的相关性,如果特定信息不在训练数据中,语言大模型根本就不会获得关于这个特定信息的知识,在执行生成任务时就不会生成相关内容或者给出错误的答案。
2.2.2 有监督微调(SFT)阶段
在有监督微调阶段,语言大模型获得指令遵循能力,被激发认知能力,提升执行垂直领域特定任务的能力。本阶段需要使用人工制作的有监督数据,数量从数万条到数百万条,主要形式为问答对;训练时间持续几天到十几天。
指令遵循能力:无监督预训练阶段完成后,语言大模型还不能很好理解与遵循人类的指令。模型需要通过示例来学习如何理解用户的指令并按照指令生成有用的回答;与此同时,对指令的遵循可能带来模型被恶意用户诱导的风险,还需要让模型学会拒绝恶意指令。
激发认知能力:如果把无监督预训练阶段比喻为学生阅读大量材料自学,观察其中的模式并建立模式之间的相关性;有监督微调阶段可以比喻为课堂上老师借助少量例题进行讲解,启发学生思考,建立模式之间的正确联系,并通过类比来扩展联系。
训练数据中往往不可避免会混入事实性错误,以及不符合所在国家主流价值观的内容, 这些内容都可能影响语言大模型,使其在回答特定Query时输出违法不良信息、歧视与偏见。由于深度神经网络的不可解释性,我们无法确定网络中哪部分参数存储了此类信息,以及从信息到数值化向量之间的关系;由于行为的不可控性,我们也无法禁止模型生成此类内容。需要指出的是,如果模型在无监督预训练阶段学习的大量语料对某事物的评价是正向的,在有监督微调阶段扭转为负向评价比较困难。以及,有监督微调阶段,如果问答对有偏,对模型造成的影响会很大。
提升执行垂直领域特定任务的能力:语言大模型具备通用的智能,使用的训练数据并不针对特定领域,训练的方法并不针对特定的任务。这使得语言大模型在执行知识门槛比较高的专业领域中的特定任务时表现不一定好,如果信任其给出的答案,可能造成人身伤害与财产损失。
| 2.2.3 基于人类偏好的强化学习(RLHF)阶段
本阶段的目的是完成价值观的对齐,使模型的输出更符合人类预期的结果,比如遵循指令、给出有价值的回答、立场客观公正、拒绝不当要求、拒绝知识范围外的问题等。RLHF 的核心思想围绕训练评价模型(Reward Model)展开,它的作用是确定人类在给定的列表中更喜欢哪个回答。评价模型是本阶段成败的关键因素。
具体的做法是:建立人类偏好数据集,然后用数据集来训练评价模型。首先,随机采样一个Query,让已经完成SFT的语言大模型生成若干个回答,比如A、B、C。然后,让标注人员对这三个回答进行排序,比如A>B>C。评价模型借助排序学习(Learning-to-Rank),通过学习输入的类似A>B,B>C这样的样本,模型最终能够对同一个Query的多个回答进行打分。
评价模型训练完成后,后续就不再需要人工。具体的过程是:语言大模型针对一个Query生成Response,评价模型对Response打分,语言大模型根据打分对自身做调整,然后重新生成Response,评价模型再次对生成的结果打分。这个过程反复进行,直到生成的结果符合评价模型的要求。
通过RLHF使语言大模型的生成内容更符合人类预期,是一种效果好而且效率高的方法。然而也会引入风险:
- 评价模型反映的是标注人员的偏好而不是人类的偏好。标注人员的数量并不会很多,而且标注人员的种族、性别、年龄、受教育状况、地域等因素很可能分布不均,不可避免会引入错误的观点、歧视与偏见。
- 评价模型可能“偷懒”学习到浅层次的特征,而不是反映本质的特征。比如,针对一个Query有A和B两个Response,其中A有条理地从不同角度进行了分析,然后给出了不同策略下的意见;B简短地给出了唯一的结论。标注人员的排序是A>B。然而,评价模型学习的时候,有可能把A优于B的原因归结为篇幅更长。后续评价模型指引语言大模型做强化学习时,可能鼓励语言大模型生成冗长而不一定实际有用的Response。评价模型的获得,因为需要多人的交互,时间相对长;后续语言大模型的迭代时间较短,以小时为单位。一个好的评价模型能够让语言大模型在短时间内低成本完成与人类价值观的全面对齐;与此同时,语言大模型无法反抗评价模型,只能按照其评价来修改自己的行为,一旦评价模型有偏会导致语言大模型放大偏差。
| 2.3 语言大模型的生成过程
语言大模型在一个具体的用户与模型对话序列中生成内容,输入既包括当前Query,也包括之前的对话内容。输出的内容,由输入和模型来共同产生。前文信息有助于语言大模型了解语境,更好地理解用户的意图,消除Query中的歧义。然而,用户可能借助对话序列对模型进行诱导,Query中还可能含有违法不良信息、错误的价值观与偏见歧视、个人信息、未经授权的内容等,这些都可能造成模型输出风险内容。
随着模型能接收的Query长度增加,我们也可以利用这一有利条件来引入更多可靠的信息,从而提升模型的生成质量。通过前面介绍的训练过程,我们可以认为:
- 语言大模型的特性中包含对训练数据做记忆和检索的成分,但是这个记忆并不精确,而是做了压缩,造成对事实性问题容易犯错。
- 语言大模型拟合了训练数据的分布,并归纳出很多种模式,在生成的过程中会对每个具体的位置选择一个模式,从而表现出一种不稳定的形式,也就是生成的可控性低。为了提升生成结果的有用性和可靠性,产品设计上往往会将针对Query的检索结果、工具集调用的结果也一起输入到语言大模型中。传统的信息检索,由于很方便判断信息来源,可以针对事实性问题获得精确的结果;而且能够给出近期的信息。工具集则可以完成特定的任务,尤其是大模型不擅长的计算与逻辑推理任务。综上所述,模型的输入既包含Query的内容和对话前文,又有检索得到的精确结果、工具集返回的计算/推理结果,在此基础上做生成,得到的内容有用性和可靠性都会得到提升。然而,检索结果、工具集结果中也可能引入个人信息、违法不良信息、错误的价值观与偏见歧视、未经授权的内容等,直接或者间接造成模型生成的Response含有风险。
| 2.4 小结:语言大模型的风险来源
如前所述,语言大模型基于Transformer网络结构,属于深度神经网络,具有深度神经网络固有的鲁棒性不足、可解释性缺乏、生成内容可控性较低等缺陷。
在训练的阶段,会因为训练数据中含有未经许可的个人信息、违法不良信息、错误的价值观和偏见、未经授权的内容等而引入个人信息、内容安全、模型安全、知识产权方面的风险;如果模型没有学习到拒绝用户的不合理请求,则可能为了满足用户的需要而输出风险信息;强化学习阶段可能放大已经存在的风险。
生成阶段也会因为用户Query的特定要求、对话的前文、调用的工具集等对模型产生诱导,生成风险内容。
目前主流的生成式视觉大模型是基于输入文本的图像生成大模型。下文从模型原理、训练过程和生成过程,以及风险来源来介绍视觉大模型。
| 3.1 模型原理
生成式视觉大模型有多种实现,目前最主流的是Stable Diffusion模型。Stable Diffusion的前身是一个Latent Diffusion Models(潜在扩散模型,LDMs)的文生图(Text-to-Image)模型,之后,Stability AI的研究团队使用了4000个A100 GPU在LAION-5B的一个子集上训练了一个Latent Diffusion Model,该模型就是Stable Diffusion。通过海量数据的训练,Stable Diffusion模型表现出了优秀的图像生成能力。和之前的基于GAN的生成式模型不同,Stable Diffusion是基于扩散模型的生成式视觉大模型。
扩散模型(Diffusion Model)的基本思想来自物理学领域的非平衡热力学(Non-equilibrium Thermodynamics),是一种隐变量模型(Latent Variable Model),包括扩散过程和逆扩散过程。其中扩散过程使用马尔科夫链不停地在图像上叠加高斯噪声,例如在mathbf{x}_{t-1}上叠加高斯噪声形成mathbf{x}_{t}。逆扩散过程的目的是从高斯噪声图像逐步去噪,从而生成高质量的符合原始数据分布的高质量图像。
在数据生成过程中,变分自编码器和对抗生成网络是将隐空间的特征使用生成网络合成数据;而扩散模型的生成过程是从高斯噪声出发,通过不断地迭代最后形成合成数据。相比于变分自编码器和对抗生成网络,由于涉及到迭代的过程,扩散模型的数据合成更加耗时。但是这也带来了其他优点,比如扩散模型合成的数据在多样性以及质量上都超越了对抗生成网络。
Stable Diffusion本质上是一个条件生成模型,即根据输入的文本内容生成对应的图像。生成过程是基于扩散模型的去噪过程,将一张纯噪声图片通过迭代的方式逐步去除噪声,同时在去噪过程中引入文本信息作为条件指导。具体的文本和视觉信息的融合采用交叉注意力的方式进行多模态信息的融合。 由于图像的原始空间维度非常高,导致扩散模型在训练和生成的过程中都非常耗时。所以Stable Diffusion不是直接在高维图像空间中操作,而是首先将图像压缩到隐空间。对比原像素空间,隐空间小了48倍,从而加速了扩散模型的训练和生成效率。
在模型结构上,Stable Diffusion主要由图像自编码器、图像生成器和文本编码器三个部分组成。Stable Diffusion中采用的图像自编码器是一个VAE模型。文本编码器是一个Transformer 语言模型,可以把文字转换成Embedding表达。图像生成器由一个U-Net网络和一个采样算法共同组成。
| 3.2 训练过程
视觉大模型的具体训练过程一般可以分为无监督预训练阶段(文本编码器、图像自编码器)、生成模型训练阶段(图像生成器)、生成模型对齐阶段这三个阶段。其中无监督预训练阶段包括图像自编码器与文本编码器的训练。生成模型训练阶段主要指图像生成器的训练。生成模型对齐阶段主要是使扩散模型与用户的生成目标对齐的过程,主要体现在个性化/定制化的生成、可控生成等。
3.2.1 无监督预训练阶段
图像自编码器预训练目的是使用图像编码器将高维的图像信息压缩到低维的隐特征空间,然后使用图像解码器能够将隐特征恢复到原始图像的像素空间,从而对图像进行语义压缩。具体而言,图像自编码器(Auto Encoder)是一种深度学习模型,其目的是学习数据的紧凑表示,同时保留足够的信息来重建原始数据。它由一个编码器和一个解码器组成,其中编码器将输入数据压缩成一个低维表示,而解码器将这个低维表示转换回原始数据。自编码器的主要应用之一是数据压缩和去噪,以及特征提取和生成模型。
自编码器在图像处理中有多种应用,包括图像压缩和解压缩、特征提取、图像合成和超分辨率等。其中,生成对抗网络(GAN)和变分自编码器(VAE)是两种常用的图像合成方法。GAN通过生成器和判别器之间的竞争来生成新样本,而VAE使用潜在变量模型来学习数据的紧凑表示。
为了减少扩散模型的计算量,Stable Diffusion模型中引入了图像自编码器,将图像从高维的原始像素空间压缩到低维的图像隐空间,然后在该向量空间上使用扩散模型进行隐空间的图像生成,最后通过解码器将隐空间解码到原始像素空间。
这个阶段使用的训练数据一般是ImageNet数据集,约120万张图像。
文本编码器预训练目的是将图像和文本映射到同一个特征空间,从而可以度量图像和文本之间的语义相似度以及两个模态间的特征可以相互表征,一般采用多模态对比学习的方法进行自监督训练。
多模态对比学习是一种将多个模态(如图像和文本)的信息融合在一起进行学习的方法,通过对不同模态的信息进行比较,来捕捉它们之间的内在联系和相互表示。多模态对比学习在多个领域都有应用,如自然语言处理、计算机视觉和语音识别等。
为了能够融合图像和文本信息,Stable Diffusion模型中直接使用了CLIP的文本表征模型。CLIP(Contrastive Language-Image Pretraining)模型是OpenAI提出的一种通过联合训练图像和文本任务的方法进行预训练的模型,以自监督的方式训练,通过学习将描述性文本与图像内容关联起来,能够理解图像和文本之间的语义关系,从而使得基于文本生成的图像能够有效保持输入文本的语义特征。
当然,不同的视觉生成式大模型也可以采用不同的文本预训练编码器,例如DeepFloyd IF采用了纯文本预训练模型T5,图像和文本的语义对齐的任务放到了生成模型训练的阶段。具体采用哪种文本编码器效果最好,目前在学术界和产业界还没有形成共识。
在图像和文本编码器预训练阶段,训练数据中可能存在违法不良的信息。经过对违法不良信息数据的学习,图像编码器模型具备了对这些违法不良信息的重建能力,文本编码器使得文本的语义特征和图像语义进行了对齐,从而使得违法不良的文本信息可以传导到图像生成过程中。
| 3.2.2 生成模型训练阶段
生成模型训练的目的是根据当前的噪声图像和文本信息的输入,优化生成模型UNet的参数,使其能够去除当前图像的噪声,从而形成高质量的且具有文本语义的图像。这阶段的训练数据一般采用图像-文本对数据,数据规模巨大。Stable Diffusion就是在LAION-2B-en数据集上训练的,它是LAION-5B数据集的一个子集,包含20亿多图文对数据。训练时长大约为A100 150,000 GPU Hours。
由于生成模型训练阶段会使用到海量的图文对训练数据,其中包含的违法不良信息和个人生物特征信息等都会通过训练压缩到模型中。这导致生成模型在生成阶段可能会面临个人信息、内容安全、知识产权等风险。
| 3.2.3 生成模型对齐阶段
虽然Stable Diffusion模型具有很强的通用能力,但是在个性化定制的生成方面能力欠缺。在视觉大模型方面已经有很多工作研究个性化的生成方式,其中以Dreambooth、Lora、ControlNet为代表的Stable Diffusion定制化微调已经在很多场景被广泛使用。
生成模型对齐阶段的目的是使得生成模型的生成能力和用户的需求相对齐,主要体现为生成的样本更加个性化和可控。这阶段的训练数据基本都是开发者自行组织的数据,包括个性化数据、特定领域数据(例如二次元数据)等,数据规模从几个到几千到几十万级别。相比于生成模型训练阶段,这阶段只需要少量数据就能进行有效对齐。
个性化定制使得生成模型的生成更加定制化、更加可控。这也会给视觉大模型带来额外的风险。利用违法不良数据进行定制化微调,使得视觉大模型的风险更加突出。
| 3.3 生成过程
基于Stable Diffusion的视觉大模型的生成过程主要是逆扩散的过程。一般的,用户会输入以下信息来生成对应的图像。
- 文本提示:用户输入的文本提示主要是描述希望生成的是什么样的图片。
- 图像的分辨率:用户输入图像的分辨率,用于指定生成的图像的宽和高。
- 提示词相关性(CFG Scale):该参数主要控制生成的图像和文本提示之间的相关性。CFG太低会导致图像饱和度偏低和文本提示不相关。 过高的CFG可能会出现过度锐化从而影响生成的图像质量。
- 采样方法:由于扩散模型的生成过程是迭代式的,这导致了生成的速度很慢。所以很多学术界的工作致力于加速扩散模型的生成过程。通常采样方法和扩散模型的训练过程相互独立,即在生成阶段可以使用不同的采样方法生成图片。
- 采样步数:采样步数表示生成阶段的去噪的步数,步数越多,生成的质量越好,但是耗时越长。
- 负文本提示:为了提升扩散模型生成图像的质量,一般还会引入负文本提示,负文本提示的概念是不希望生成的图像有这些性质,例如模糊等。
通过以上信息的输入,初始化的图像从高斯噪声出发,根据输入的文本提示信息通过扩散模型不断迭代去除噪声,最后形成符合用户预期的合成数据。
在这个过程中,恶意用户可能会将有害的文本提示信息进行输入,从而导致生成有害的图像数据,引发内容安全的问题。如果用户的文本提示中输入艺术家艺术风格类型的词汇,也会导致生成的图像数据具备输入艺术家的作品风格,有可能会导致知识产权的问题。在个人信息方面,用户可以通过在提示中输入包含个人信息的内容,合成具有个人信息的图片,从而导致个人信息的风险。此外,攻击者还能利用对抗攻击、投毒攻击等方式,攻击视觉大模型诱导其生成有风险的数据,引发视觉大模型的模型安全风险。
| 3.4 小结: 视觉大模型的风险来源
视觉大模型的风险来源主要来自两部分,一部分是模型自身的安全问题,例如深度神经网络的鲁棒性、公平性、不可解释性等风险。此外,在视觉大模型的不同训练阶段,也存在个人信息、内容安全、模型安全、知识产权等方面的风险。例如,训练数据中含有未经授权的个人信息数据,从而导致视觉大模型生成了侵犯个人隐私的图片。下表展示了视觉大模型在训练的各个阶段的一些风险问题以及产生这些风险问题的原因。
🌟 下期预告
第四章:生成式人工智能风险治理实践和探索
AAIG一直坚持长期主义,每年出品一本人工智能治理系列白皮书。我们会不断更新、精进,以确保白皮书能够紧跟时代发展的步伐,为读者提供更加专业、全面的治理建议。
回复关键字【白皮书】一键下载电子版全文
📌往期推荐
生成式人工智能的发展以及担忧|生成式人工智能的治理愿景和框架...👉点击查收全文链接🌟2022人工智能治理系列丛书 精华大图集锦版 | 如何维护电商平台信息真实和竞争公平…👉点击查收白皮书全书连载
🔥《追AI的人》系列直播教你掌握互联网的“流量密码” | 如何避免ChatGPT被滥用…👉点击查收过往32期直播的全部文字回放
🎈《算法治理制度》系列丛书内容和电商领域推荐算法的应用与治理差异|“大数据杀熟” 的背后…👉点击阅读更多算法治理干货
📺 AI治理科普短视频流量为王的时代,教你如何“破圈”创作 | 3分钟Get多模态是什么?| 信息茧房和马太效应是什么…👉点击观看往期22期精彩视频
👇AAIG课代表,获取最新动态就找她
关注公众号发现更多干货❤️
有启发点在看喔👇