实战分享：UGC内容质量提升策略设计

对于UGC社区而言，在内容生产端，把控其质量非常重要，需制定维持或提升平台内容质量的相关策略。本文结合作者相关项目经历详细展开，如何进行UGC内容质量提升策略设计，一起来看看吧。

如上一篇文章【实战思考：从0到1搭建UGC社区系统】所说，在内容生产端，需制定维持或提升平台内容质量的相关策略，本文将围绕笔者的项目经历对其进行更详细得介绍。

先说下笔者在这块走过的弯路。最开始搭建社区时，一个关键指标是内容量，当时整个产品和运营团队侧重在创作者的拉新和激励上，忽视了内容质量，导致平台出现以下几个典型问题：

1、当时的创作者激励活动，侧重于求量而非求质，导致出现大量低质灌水内容；

2、某类似于精选的功能仅与点赞量挂钩，导致平台发出错误的优质内容信号；

3、真正的优质内容流量受限。部分高优内容，由于无法获得流量倾斜，曝光不够，导致创作者失去优质创作的动力；

4、对于平台整体内容质量的走向，无直接的数据指标评价，只能靠人工感知。

基于此，团队需迫切调整方向，笔者便是在此背景下提出了内容质量提升的相关策略，供各位参考。

一、增加关键指标

所有策略的制定都需要有一个指标来衡量。针对于内容质量的提升，提出了“内容详情页的日人均停留时长”指标，选择该指标的原因是：

1、该指标是用户行为指标，客观且可量化；

2、与内容质量提升有很强的因果关系，内容质量的提升会直接带来用户更久的停留时长；

3、相比点击率、消费内容数这类指标，时长指标的提升背后是更长期更稳定的用户行为，比如标题党、临时运营活动对指标的影响较小，即该指标更加“健康”；

指标拆解如下：

内容详情页的日人均停留时长= 人均消费内容数量 * 单个内容停留时长=人均消费内容数量  *（完成单个内容所需时长 * 完读率）

注：此处的=并不是完全相等

以上共拆解到了三个子指标上，这三个子指标有各自不同的价值：

1、“人均消费内容数量”的提升侧重于更高的点击率，即平台更强的内容分发能力；

2、“完成单个内容所需时长”的提升侧重于更长的内容。从团队的运营经验来说，平台优质内容往往有较多字数（大于500字），因此该指标能在一定程度上反映平台的内容质量。但该指标有明显的缺点，如果只单一考虑，容易导致内容凑字数或内容过长现象，因此需要下面的“完读率”指标进行牵制；

3、“完读率”的提升侧重于内容对当前用户的吸引力，一是受到内容质量本身的影响，二来也受到内容分发能力的影响（是否是用户真正感兴趣的内容）；

二、提出解决方案

1、给标准——完善内容质量评级

平台需要清晰界定什么是优质、什么是低质内容，即给出质量评判的标准。需要产品和运营团队配合输出，主要工作包括：

（1）确定内容范围。比如回答、文章；

（2）提出质量等级和评定方式

当时提出共6层，如下图供参考（其中等级0-4互斥，等级5的内容同时也属于等级4）。不同平台由于所处阶段、定位、资源配置、内容量级、内容风险程度等原因，在质量等级划分和评定方式/流程上各有不同，但核心思路均是通过质量划分，将好内容和差内容进行足够精准得圈定以配合后续的奖惩策略。

（3）质量标准制定

由内容运营团队输出质量标准文档给到审核团队，然后由审核团队按照标准进行打标。质量标准文档并不是一个固定的文档，需逐步调优适配平台内容。而调优的方向是否正确，可以通过引入关联的数据指标进行纠偏，流程如下。

此外还需注意的是，不论质量标准文档多么完善，对于审核团队来说，3和4的质量评定难度往往会高于0和1，因为“好内容”的边界更加模糊，审核团队在这里所使用的主观判断会更多。也由于评定具有主观性，存在两个风险：

a.在既定标准下，审核团队的人员不同所带来的标注结果不一致；

b.在既定标准下，审核团队核心人员更换所带来的标注结果前后不一致。

如果审核团队不在部门内部构架范围，以上风险则需特别关注，除了通过运营抽检识别和控制外，也可以通过引入关联的数据指标进行观测。

（4）提出关联的数据指标

a.针对质量标准调优。可以通过“1～4各个质量等级下的内容占比”和“1～4各个质量等级下的内容曝光收藏率”两个指标进行纠偏。

第一个关联指标是平台先预设好数值范围，确保最终的数据结果在该范围内。这是因为不论平台当前的整体内容质量有多好或者多差，都需要从中按照一定比例挑选出“更好”和“更差”的内容，用以配合内容分发。假设等级为4的优质内容在平台看来应该是稀有的，最高比例预设为5%，那如果最终的结果超过这个范围，就需要进一步提高等级4的评判标准；

第二个关联指标提出的原因是平台的内容主打知识内容，质量越高往往被收藏的概率越大。在数据表现上，从1到4各个等级的数据是递增并且是断层的，如果某两个等级的数据差异不大甚至递减，那则需要调整相关标准。

b.针对审核团队主观性判断风险。也可以通过“1～4各个质量等级下的内容占比”指标进行观测，与上面不同的是，在这里该指标主要是用于观测趋势变化。因为该指标数据短期内是足够稳定的，长期来看即使由于整体质量提升，各个等级内容占比有所迁移，但也是平滑迁移。所以如果短期内某等级线出现了变化，那就应该立即确认是否有质量标准调整或者审核团队人员变动的情况。

注：以上指标均未考虑0等级的情况，原因是不合规、不安全的内容标准并不会受平台质量的变化而变化，同时不具有主观性。

2、给态度——释放可见的平台优质内容信号

质量等级为4和5的内容均为平台优质内容。在功能设计上，特别是平台前期内容分发还不够完善时，需突出其在用户端的可见和可知性，比如打上“精选”“每日最佳”这类标识，即告诉平台的消费者和创作者：“你看，这是我们平台认为的好内容。”

同时可以将这类标识内容进行聚合，形成精选、每日最佳合集，以便用户进一步消费。

3、给奖惩——流量扶持与打压

在圈定完“好内容”和“差内容”后，平台能够最直接最快速给出的奖惩方式就是流量分配。

（1）不合规和不安全内容。审核不通过，仅主人态（创作者自己）可见；

（2）低质量内容。从平台来说，这类内容价值很低，如果不控制其露出对平台的整体的内容氛围/感官有较大影响，但同时这类内容又是平台允许的（扩充内容量、不设过高的创作门槛）。因此这类内容会被审核通过，但在核心个性化推荐场景将被直接过滤掉，另外在内容列表页也会被折叠；

（3）一般内容。也就是“不好不坏”，平台往往不对其做单独的干预策略；

（4）较好内容。在部分场景做适当加权，比如内容列表页排序加权；

（5）优质内容。平台最高质的一批内容，在个性化推荐场景、搜索、内容列表页均可以对该特征进行加权；

（6）每日最佳。由运营从优质内容中选出的具有代表性的内容，数量极少，主要是用于运营投放。比如站内消息推送、banner位投放等

以上流量分配的实现是否如预期可以通过引入“各内容质量等级下的内容条均浏览量“指标进行观测。

4、给成长——精细化触达低、中质创作者

低中质创作者可以定义为过去某个时间段内生产内容1-2等级在1-4等级中的占比超过某一阈值的创作者，这类用户本身具备创作意愿和能力，平台可以通过精细化消息触达，推送相关内容教程和说明，引导提升其后续内容质量。

三、定期回顾进展并更新方案

到具体执行后，随着进展需进一步补充相关策略，另外在回顾策略和数据观测过程中往往会发现新的问题，也需及时调整。

1、算法与人工审核的配合

在项目前期，除了命中敏感词库的内容直接被系统驳回，其他的内容均需要经过人工逐个审核，审核除了判定内容是否通过以外，还需勾选相关内容标签、评估内容等级，人力成本较高，且响应速度有限。

随着内容量的增多，在积累了足够训练样本后，项目引入了算法模型。涉及：

（1）低质量内容直接判定，人工抽检反馈badcase调优；

（2）一般内容到优质内容的初步判定，人工复审，算法再根据复审结果训练模型；

（3）自动生成内容标签，人工抽检反馈badcase调优。

低质量内容之所以直接由算法判定，一是因为低质量的识别难度最小，测试集准确率最高；二是从平台的角度，误判低质量所带来的损失低于误判高质量的损失。

2、更丰富的激励方式

除了流量扶持以外，针对高质量内容的创作者，平台还进行了：

（1）成就激励。包括创作者排行榜、创作者等级标识、创作者周报、创作者证书、颁奖典礼等；

（2）物质激励。在常规创作者激励活动中，满足相关条件的创作者可以获得平台补贴。

3、抄袭驳回

由于创作者激励活动对存在金钱补贴，部分创作者为了最大化得获得补贴，出现了抄袭现象。抄袭对象为平台内的其他优质原创内容，并且往往通过“缝合拼接”多个其他创作者的优质内容实现。

在此背景下，平台上线了内容管理端的抄袭识别功能。其中抄袭识别功能是通过高亮存在抄袭的内容，并且由算法计算出整体抄袭率，超过某一阈值，系统直接驳回。

4、黑名单用户

针对生产不安全内容、抄袭内容的用户，在首次平台均会发出警告。如果二次触发，平台运营会根据其恶劣程度选择短期、中期、永久性冻结该用户账号。

以上便是笔者在UGC内容质量提升策略上的实战分享，由于经验有限，不严谨的地方欢迎指正和探讨。下一篇笔者会对个性化推荐进行介绍，欢迎关注。

​Read More