企业架构13——数据处理

在日常业务中，你知道数据从哪里来、怎么处理数据吗？在这篇文章里，作者便针对数据处理这件事进行了分析总结，并从指标体系、数据来源、数据处理、数据展示等维度做了拆解，一起来看看吧。

在前一篇文章中，我们梳理数据的建模方法，最终能够顺利的搭建一个业务的数据模型。

数据模型相当于是一个框架图，一个设计蓝图。

但到目前为止，还没有数据，数据怎么来，需要怎么处理数据，如何展示给需要的人，怎么样使用数据呢？

所以本文就对以上内容做一个概要性的梳理。

一、指标体系

在之前的文章中《企业架构6——业务数据体系》中，我们已经梳理了如何去搭建整个业务的数据指标体系，大家有兴趣的可以点击链接查看。

1. 整体的指标体系搭建

OSM模型——通过将宏大的运营目标逐一拆解，对应到可落地的运营策略和可度量的运营动作上，从而确保我们梳理指标时不会偏离“主航道”。

UJM模型——用户在使用产品过程中的生命旅程，指用户从首次接触直至下单以及享受产品或服务期间，用户与企业产品或者平台互动的全过程。

2. 布局具体指标

有了大框架之后，我们在实践中会发现，想要快速切入，快速落地，往往可能找不到明确的切入点。

这个时候我们采用场景化的方法来分析，比如我们的业务需要获客，获客场景中，我们要看我们的获客转化率，那我们可以使用海盗模型，AARRR。

这种则根据具体指标→业务场景→对应指标体系这样来拆分，这样能够结构化，模块化的逐步梳理。

二、数据来源

当我们设置了指标体系，根据指标体系或系统需要什么样的数据（业务数据、用户行为数据、用户数据），也就是我们要决定数据类型。

这些数据的格式有什么限制（是文本、音频、视频、图片还是什么）？

当我们梳理清楚需要那些数据，我们再看怎么采集这些数据，也就是数据的源头是通过传感器，还是客户端，还是业务系统；是通过线上采集，还是把线下的数据手动导入进来，还是通过api接口？

这些数据可能是自己的系统能够产生，也许自己没有要向第三方拿，这就是数据的归属权。

业务数据的收集直接在业务运作就能拿到，用户数据是用户基本数据信息这个在系统设计的时候就可以收集，用户行为数据需要进行一些埋点采集。

1. 用户行为数据采集方案

比如说，我们想要了解用户进入某个页面之后的行为。我们梳理用户进入app之后可能的各种行为，如下。

针对每个操作事件，我们按4W1H的方式来记录相关数据。

如下图，我们梳理首页的埋点事件。

埋点的方法有代码埋点、全埋点、可视化埋点，原理是一致的，各自的方法略有不同。

以下为我们梳理一个浏览页面的埋点文档。

三、数据处理

1. 数据清洗和转化

在数据采集之后，需要对数据进行清洗和转换。数据清洗是指去除重复、缺失、错误的数据，以保证数据的准确性和可靠性。数据转换是指将数据转换成符合数据仓库要求的格式和规范，以便后续的数据处理和分析。

2. 数据集成

在数据清洗和转换之后，需要对数据进行集成。数据集成是指将不同的数据源中的数据进行整合，形成一个统一的数据集。这个数据集需要包含企业的历史数据和实时数据，以便后续的数据分析和决策支持。这个阶段通常需要使用一些数据集成工具，例如ETL工具等等。

3. 数据存储

在数据集成之后，需要对数据进行存储。数据存储是指将数据存储到数据仓库中，以便后续的数据查询和分析。这个阶段通常需要使用一些数据存储工具，例如关系型数据库、非关系型数据库等等。

四、数据展示

数据可视化是指将数据分析结果以图表、图像等形式展示出来，以便更好地理解和利用数据分析结果。

通俗来说，就是要把你分析好的数据结果用正确的图表展现出来,让人一眼可以看出关键信息的一种展示形式。

因此，要做好数据展现的前提，就是要先确定好用哪种图表来表现数据，让图表结果最为直观。

1. 明确目标和需求

在进行数据可视化设计步骤之前，需要先明确设计的目标和需求。这包括了解用户群体、了解他们的需求和期望、确定所要展示的数据类型和数据来源等。只有明确了设计的目标和需求，才能更好地进行下一步的设计工作。

在明确目标和需求时，需要考虑以下几个因素：

1. 用户群体：需要了解所设计的大屏将会被哪些人使用，不同的用户群体可能对数据的需求和展现方式存在差异；
2. 数据类型和来源：需要明确所要展示的数据的类型和来源，以便选择合适的数据可视化工具和呈现方式；
3. 需求和期望：需要了解用户对数据可视化大屏的期望和需求，以便在设计时进行考虑。

2. 选择合适的数据可视化工具

选择合适的数据可视化工具是设计数据可视化的关键。根据所要展示的数据类型和数据来源，选择合适的数据可视化工具可以使得数据更加直观地展示出来，并且让用户更容易理解数据所包含的信息。

在选择数据可视化工具时，需要考虑以下几个因素：

1. 数据类型和来源：需要选择针对所要展示的数据类型和来源的数据可视化工具；
2. 可视化效果：需要选择能够呈现出所要展示数据的效果的数据可视化工具；
3. 易用性：需要选择易于使用的数据可视化工具，以便在设计时更加方便和高效。

3. 选择合适的数据呈现方式

数据可视化大屏有多种数据呈现方式，包括柱状图、折线图、饼图、雷达图等等。在选择数据呈现方式时，需要根据数据类型和数据来源，选择最合适的数据呈现方式，以便更好地展示数据。

在选择数据呈现方式时，需要考虑以下几个因素：

1. 数据类型和来源：需要选择针对所要展示的数据类型和来源的数据呈现方式；
2. 信息层次：需要根据数据的信息层次，选择合适的数据呈现方式；
3. 可视化效果：需要选择能够呈现出所要展示数据的效果的数据呈现方式。

比如：Power BI、finebi、Tableau、Sugar BI、神策数据、growingio、QlikView。

分类1——基本分类

数据可视化分为四种情况：比较、联系、构成、分布。具体使用指南如下图所示：

1）比较

比较数据间各类别的关系，或者是它们随着时间的变化趋势。

2）联系

查看两个或两个以上变量之间的关系。

3）分布

关注单个变量，或者多个变量的分布情况。

4）构成

每个部分占整体的百分比，或者是随着时间的百分比变化。

每种图形的详细使用说明见文章《数据可视化常用图形分类，用途及使用建议》，点击可以查看。

分类法2——图标字典Visual Vocabulary

该图表字典将数据可视化分为了九种类型，分别是Deviation、Correlation、Ranking、Distribution、Change overt Time、Magnitude、Part-to-whole、Spatial、Flow，共计76个图表。

1）Deviation——差异

可理解为“差异”。强调固定参考点的变化（+/-）。通常，参考点为零，但也可以是目标或长期平均值。也可以用来表示情绪（正面/中立/负面）。

FT使用示例：贸易顺差/赤字，气候变化。

2）Correlation——相关性

可理解为“相关性”。显示两个或多个变量之间的关系。请注意，除非你告知读者，否则他们很可能认为你展示的是因果关系（例如一个变量导致另一个变量变化）。

FT使用示例：通货膨胀和失业，收入和预期寿命……

3）Ranking——排名

可理解为“排名”。当项目的排序或位置比其绝对值或相对值更重要时，可使用排名类图表，在结果中进一步突出感兴趣的点可以吸引使用者的注意。

FT使用示例：财富、排位名次表、选区选举结果……

4）Distribution——分布

可理解为“分布”。显示数据集的值及其出现频率。通过分布的形状（或偏离程度）突出数据的不一致或不平均性。是一种便于记忆的方式。

FT使用示例：收入分布、人口分布(年龄/性别)……

5）Change over Time——趋势

可理解为“趋势”。强调趋势的变化，有可能是短期（一日内）波动，或者是长到数十年或数百年的变化。选择正确的时间段有助于向读者提供准确的背景信息。

FT使用示例：股价走势、经济时间序列……

6）Part-to-Whole——部分与整体

可理解为“部分与整体”。能显示出一个整体如何被拆分为不同的部分。如果读者只是想了解个别组成部分的大小，不妨改用对比类的图表。

FT使用示例：财政预算、公司结构、全国选举结果……

7）Magnitude——对比

可理解为“对比”。用于比较数据大小。可以比较相对值（哪一个比较大），或比较绝对值（需要显示出精确的差异）。通常用来比较数量，而不是计算后的比率或百分比。

FT使用示例：商品产量、市值……

8）Spatial——地理空间

可理解为“地理空间”。当数据中的精确位置和地理分布规律比其他信息对读者来说更重要时，可使用这类图表。

FT使用示例：人口密度、自然资源位置、自然灾害风险/影响、流域、选举结果的变化……

9）Flow——流向

可理解为“流向 ”。展示两个或两个以上的状态、情境之间的流动量或流动强度。这里的状态、情境可能是逻辑关系或地理位置。

FT使用示例：资金转移、贸易、移民、诉讼、信息、关系图……

以上两种数据图表的分类方法各有不同，但本质都是将各类图表进行分类，并且说明了每个图表匹配哪种数据。方便大家在选择要可视化的数据之后，挑选更适配数据的表达方式。比如：

雷达图：

① 用途

用来展示某一类型事物在几个属性的优良情况，或该类事物互相对比。可以在同一坐标系内展示多指标的分析比较情况。它是由一组坐标和多个同心圆组成的图表。

即将一个样本的各项指标所得的数字或比率，就其比较重要的指标集中划在一个圆形的图表上，来表现一个样本各项指标重要比率的情况，使用者能一目了然的了解样本各项数据的变动情形及其好坏趋向。

② 使用建议

数据点不能太多，一般不超过6个，否则无法辨别，因此适用场合有限。

4. 布局

布局是数据可视化设计步骤的重要环节。在设计图表布局时，需要考虑多个因素，如可视化效果、用户体验、信息层次等等。一个好的布局应该能够使得数据更加清晰明了，同时也要体现出设计的美感。

在设计布局时，需要考虑以下几个因素：

• 信息层次：需要根据数据的信息层次，设计出合理的布局，使得用户能够更加清晰地理解数据；
• 用户体验：需要设计出易于使用和操作的大屏布局，以便用户更加方便地使用；
• 美感设计：需要考虑设计的美感，使得大屏布局更加吸引人。

不会布局，那么可以去哪里快速寻找仪表盘来进行模仿呢？这里给大家推荐 4 个网站：

1. 花瓣网，以配色+布局为主体，搜索可以直接使用；
2. 站酷网，以配色+布局为主体，跟花瓣网一样；
3. Collect UI，以UI设计为主，模仿网站后台；
4. 优设网，以设计思路+教程为主，提升细节体验。

在这些网站搜索关键词：大屏、Dashboard、看板、数据报告，就可以找到非常多值得参考的大屏数据汇报，吸取他们的配色方案即可。

当我们最终经过布局之后、美化之后得到如下的一个可视化大屏，对不同的人给予不同的权限，则不同部门、不同层级的人所看到的的可视化大屏呈现的数据不同。

5. 测试和优化

在完成数据可视化设计步骤之后，需要进行测试和优化。

需要注意数据的准确性和完整性，如果发现了问题，需要及时进行优化，以便让数据可视化更加完美。

在测试和优化时，需要考虑以下几个因素：

1. 数据准确性和完整性：需要测试数据的准确性和完整性，以便发现问题并进行优化；
2. 用户反馈：需要收集用户的反馈和建议，以便在优化时进行考虑；
3. 优化效果：需要测试优化后的效果，以便验证优化是否有效。

五、数据分析

根据我们之前搭建的指标体系进行分析。

1. 分析的类型

1）描述性分析——发生了什么

描述性分析是任何数据分析过程的起点，旨在回答发生了什么问题，是我们通过对各种来源的原始数据进行整理，再将其转化为对业务有价值的洞察。

2）探索性分析——探索数据之间的关系

顾名思义，探索性分析的主要目的是探索，其最典型的应用领域就是数据挖掘。通过探索性分析，能够帮助我们发现原本不相关事物之间的数据变量联系。

数据挖掘领域有一个典型案例：沃尔玛通过数据挖掘，发现纸尿裤与啤酒的销量数据呈相关关系。于是调整了超市货架的摆放位置，将纸尿裤与啤酒放在相近的位置，没想到双双增加了这两种完全不同品类的销量。

3）诊断性分析——为什么会发生

诊断性分析是最常见的数据分析类型。运营人员通过诊断性分析能探究某件事情发生的原因，引发这件事情的前置事件是什么，这件事情发生后又会引发什么后置事件。

4）预测性分析——会发生什么

预测性分析通过分析已知数据假设未来，回答将来会发生什么的问题。

5）规范性分析——要采取什么行动

规范性分析是最高级的数据分析类型，通过以上所有数据分析，并结合数据模型，回答要采取什么行动的问题。规范性分析会分析多个场景，预测每个场景的结果，并根据结果决定哪个是最佳行动方案。

2. 分析的方法

1）趋势分析

趋势分析可以说是最基础且最常用的数据分析方法。通过对有关指标各期对基期的变化趋势分析，分析该指标的趋势变化，从中直观地发现问题，让运营决策更准确和更实时。

2）细分分析

当趋势分析过于宏观，那细分分析则是精细化运营的必备，按照不同的维度一步步地对数据进行拆分，不断接近问题发生的起源，让运营获取更加精细的数据洞察。

例如，某品牌零售企业的 GMV 某天有明显下降，那么我们就可以根据全国各省级行政区的维度，细分湖南省、广东省、北京市、云南省等 34 个省级行政区，查看具体是哪个省级行政区的 GMV 有所下降。定位到具体的省级行政区后，还可以继续往市级、区级层层细分。

3）对比分析

对比分析是将两个或两个以上的数据进行比较，分析差异并揭示数据所代表事情的发展变化情况以及规律。其特点是可以非常直观地看出事情某方面的变化或差距，并且可以准确、量化地表示出这种变化或差距是多少，主要是为了给孤立的数据参考系。

4）溯源分析

追溯到事情的源头去分析，是避免运营做过多无用分析的方法。

举个例子，当一批用户到来我们的产品内，购买转化率比较低。通常情况下我们去分析，可能会围绕产品流畅度、运营活动力度，或者商品吸引力等问题。但很有可能从源头分析，这批用户就并非我们的目标用户，而是虚假流量。

5）归因分析

通过一种或者一组规则，将销售功劳或者转化功劳等分配给转化路径中的各接触点，即为归因分析。

本质上归因分析都是为了衡量和评估用户触点对总体转化目标达成所作出的贡献，评价的核心指标为转化贡献度。但具体如何衡量和评估，就需要我们用到归因分析模型。

六、数据应用

在数据可视化之后，需要对数据进行应用。数据应用是指将数据分析结果应用到实际业务中，例如制定营销策略、优化产品等等。这个阶段通常需要与业务人员进行沟通和合作，以确保数据分析结果能够真正地帮助业务发展。

1. 市场营销

1）渠道投放方评估

通过对各渠道数据的收集，分析情况，判断渠道的效果，选择合适的投放渠道。

2）分发效率评估

基本上通过业务属性、用户属性或行为特征数据提炼筛选人群分组标签，再根据人群分组标签匹配对应的方案或内容库，继而根据规则进行是否展示和展示顺序的判断进行个性化推荐，以达到提升体验、分发效率、业绩等目标。

不同产品的差别往往只在于实现这套体系时的内容供给类型与时效性，这很大程度决定了实现需求本身的成本大小，整体逻辑可概括为下图：

3）个性化推荐

通过埋点收集用户行为数据，计算用户行为特征，进行行为预测，进行智能推荐。

4）精准营销触达

通过用户行为分析及行为特征进行用户分群，输出精准名单，然后匹配规则策略对接不同的通道/营销系统，进行发短信/发 Push，亦或是发券发红包的触达等，这是产品外的一种营销机制，其最终的结果是目标转化。

2. 核心指标监控

对于C端产品来说，数据其实是用户行为的真实反馈。用户在产品上的大部分行为，并不会直接告诉你，但是通过数据，我们可以分析用户的使用路径，需求的满足程度，从而衡量产品的价值。

我们在前面也搭建了指标体系，我们也按照固定的周期检查数据指标的情况，检查之前的APP核心指标数据，看是否有异常。一般相关的数据波动在上下2%以内是可以接受的，但如果差距过大，就需要排查原因。

3. 驱动产品迭代优化

通过数据，在产品的迭代优化中，需要用合适的方式把无法量化的“客户体验”，通过不断的分析进行量化，再通过不断的知识积累进行运营决策，为产品的良性发展打下基础。

4. 精细化运营

通过完备合理的策略规划外，准确、及时的策略执行及同步的效果监测与分析。

可以提高决策效率和准确性，企业通过数据分析可以更客观地评估各种策略和方案的优劣，消除人为偏见和错误，从而做出更明智的决策。

在体验维度上，数据驱动可以帮助企业更好地了解客户需求，从而优化产品和服务，提供个性化服务和产品，提高客户满意度。

在增长维度上，数据驱动有助于企业预测趋势、市场变化和客户需求，发现潜在的市场机会和创新领域，推动组织的创新和发展，从而实现增长。

七、总结

数据处理的整个流程包括数据收集、存储、处理、分析、展示、使用。

本文简单说明了一下流程的整个环节，每个环节需要做什么事情，要有一个什么样的结果。

其中数据存储及数据计算等环节因作者技术知识有限，说的比较粗略，更多想怎么与业务联系的角度来说明。

通过前一篇文章数据建模及本文数据处理，算是从宏观上对业务系统的数据方面有一个认知，之后我们就可以继续往用户画像等角度去做深入研究，之后将逐步看梳理相关的内容。

​Read More