论坛详情
嘉宾和议题
个人介绍:目前负责YY直播数据产品的总体规划,带领团队落地包括数据开发管理、数据治理、数据分析、数据服务、用户画像及运营分析等数据平台及应用产品;有10年+的大数据分析及产品经历。
演讲题目:YY直播业务指标治理实践
演讲提纲:烟囱式的需求开发沉积大量数据模型及数据报表;而业务指标管理存在技术口径和业务口径混用,同名不义及同义不同名等问题;通过业务指标的体系化梳理及构建,引入指标生命周期管理机制,清理融合存量数据模型及报表;最终面对业务用户,构建以指标目录为入口的自助购物式的数据获取及分析体验,提纲如下:
1. 存在的问题及原因分析
2. 业务指标体系化构建
3. 业务指标管理驱动数据治理
4. 自助购物式的指标分析
听众收益:
1. 如何梳理并构建业务指标体系?
2. 如何利用指标管理驱动数据治理?
3. 指标管理产品构建及运营的实战经验
扫码咨询报名
韩钰 腾讯 大数据平台部 数据上报系统负责人
个人介绍:硕士毕业于中国科学院计算机网络信息中心,曾先后就职于百度、滴滴、腾讯等公司,目前在腾讯数据中台负责数据上报系统,深耕数据上报质量和效率,实现PCG的全业务覆盖。
演讲题目:数据采集治理
演讲提纲:
1、引子
1)数据采集的深广准决定了指标应用的能力上限,指标治理需要从采集源头开始
2)数据采集其实就做一件事:将真实的客观世界数字化并记录下来
3)做好数据采集的终极目标是 质量 和 效率
2、质量
1)数据质量问题60%~80%发生在采集阶段,在指标应用阶段才发现质量问题会让人气馁,排查也很低效
2)新一代数据质量审查工具,让人们对数据质量的认知从 合规检查 提升到 合理分析
3)质量审查能让人一眼看穿数据质量,让指标使用方可以放心大胆的使用采集数据
4)智能判定则可让机器自动发现问题,基于灰度主流对比、主流日期环比等一系列相关性对比思路
5)行为诊断可用来帮助诊断一些数据采集的疑难杂症,通过可视化单个用户的全部行为轨迹
6)补充其他质量工具,总结实践经验
3、效率
1)效率瓶颈很多时候并不在开发上,而在对需求的梳理、沟通、反复修改、录入、验收,以及后续长久的维护上
2)定义终端数据采集模型,在 事件 的基础上增加 页面 和 元素,标准化采集口径,约定大于灵活
3)实现 在线文档 与 需求面板 的同步,既利用了在线文档的便捷,又能在需求面板中完成Diff对比、测试验收等操作
4)利用采集SDK帮助提升开发效率,用一套API 引导开发者按采集模型来埋点,可选的用自动和半自动采集来减轻开发负担,搭配一套高效的测试诊断工具
5)建立退出机制,基于ROI(血缘热度/成本)的生命周期管理
4、展望
1)质量 和 效率 我们在路上
听众收益:
1、了解新一代数据质量审查工具,让人快速看清数据质量,让机器自动发现问题
2、了解如何才能把数据采集的效率做好
扫码咨询报名
林天权 蚂蚁集团 高级数据技术专家
个人介绍:林天权(花名:画龙),现任蚂蚁集团高级数据技术专家,有10多年大数据研发、架构升级和数据治理经验,14年开始加入蚂蚁,深度参与蚂蚁大数据的发展和升级演进,曾作为实时数据负责人主导蚂蚁双十一媒体实时大屏、蚂蚁全域实时采集链路和蚂蚁实时数据研发平台研发,以及PB级adhoc查询加速服务和大安全一键数据服务化平台研发与升级,现任蚂蚁安全大数据技术团队数据架构及治理负责人,推进技术创新,打造EB级AutoFinOps核心能力,升级蚂蚁新一代数据架构,用数据创造价值。
演讲题目:蚂蚁新一代数字智能化治理平台 AutoFinOps 实践与探索
演讲提纲:科技驱动一直是蚂蚁的核心发展理念,也是蚂蚁安身立命之本。蚂蚁过去的发展,源于能够始终抓住技术变革机遇,用技术创造价值。蚂蚁集团在面对EB级数据规模、错综复杂的业务以及数字时代新型安全风险挑战,数据治理除了传统的运动式治理、元数据驱动治理、一站式治理平台、自上而下的治理规范制度约束等解决方案外,也在不断尝试技术创新和架构升级等手段破局和提效,提供更加高效、便捷、丝滑的自动化、智能化解决方案,本次分享带你深入了解蚂蚁如何通过治理数字智能化快速实现“无感降本”,特别是智能归因、AutoFinOps、错峰计算等技术应用和实践,期待你的聆听,也期待与你一起交流。具体内容包括:
1. 数据治理的困难与挑战
2. 数据治理的顶层设计和架构
3. 数据治理自动化和智能化的最佳实践
4. 思考总结与未来展望
听众收益:
1. 了解蚂蚁数据治理的设计思路
2. 深度解读蚂蚁“无感降本”技术如何高效实现
3. 探讨数据治理领域未来趋势
扫码咨询报名
冯赞锋 快手 大数据架构师
个人介绍:先后就职于百度、创新工厂-豌豆荚、快手三家公司,主要擅长大数据中台构建、数据治理,在搜索、爬虫、后端服务开发等方向也有一定积累,目前在快手主要负责数据治理架构设计和开发工作。
演讲题目:快手数据成本白盒化治理实践
演讲提纲:
1.1 背景介绍
● 数据治理介绍:快手数据治理整体介绍
● 本次分享核心:通过引擎与数仓白盒化拆解,提升治理深度,实现降本增效
1.2 收益评估方法
○ 压缩率
○ 存储数据量
○ 资源消耗(CPU核*天)
○ 作业运行时长
○ 作业失败率
1.3 引擎白盒化
● HBO
● JVM升级
● 压缩算法替换
● 计算过程拆解
1.4 数仓白盒化
● 基于 Similar SubExpression 的公共模型构建和优化
● 数仓自动化治理实践
1.5 个人思考
● 严谨:事前收益测算 -> 事中灰逐步度验证,解决异常CASE -> 事后整体效果评估
● 深入:对引擎、工具、数仓均有深入理解
● 行动:躬身入局,模糊各个团队的边界
1.6 未来规划
● 压缩效率持续提升
● 实时计算Flink白盒化
● 数仓架构优化
听众收益:
1、深入到大数据存储计算引擎和数据仓库,对其进行白盒化拆解,在治理思路、治理经验等方面有不少可借鉴之处
2、讲述快手实践,如何成功降低千万级存储和计算成本
扫码咨询报名
许璐 平安产险 数据智能 大数据工程师
个人介绍:15年加入平安,目前负责平安产险大数据基础平台研发管理优化等工作。
演讲题目:数字化转型下的大数据平台治理
扫码咨询报名
张森森 平安集团 科技会数据管理 高级经理
个人介绍:电子科技大学硕士毕业,曾服务于中通服,TeraData 等知名公司。现就职于平安集团科技会安保中心数据管理部门,任技术平台组负责人(高级经理),曾负责引领集团数据中台的规划、建设,现负责集团数据技术管理运营工作以及集团数据管理平台的建设。
演讲题目:模型赋能下的数据安全合规管理
演讲提纲:
1. 数据合规管理的架构
2. 合规知识库的构建
3. 借助大模型进行智能合规监测
4. 实现全生命周期的数据合规监测 – DCMM评估模型,评判数据能力成熟度 – PIA评估个人信息收集利用合规性
5. 构建数据合规化指标体系,实时监测风险
听众收益:
1. 学习使用大模型构建智能化数据合规知识库
2. 了解如何利用大模型进行数据合规能力评估
3. 获取利用大模型提升数据合规水平的行业经验
扫码咨询报名
左银康 国信证券 数据治理负责人
个人介绍:本科毕业于华中科技大学,先后在大型股份制商业银行、四大央企和国信证券从事数据治理工作。在商业银行总行开展数据治理,推动全行的数据标准制定、客户数据质量检核、元数据的管理和平台工具建设,在四大央企之一开展集团主数据建设,进行集团组织、员工、物料主数据的规划、实施和推广,目前在国信证券开展数据治理工作,负责公司数据治理组织、制度、流程、工具的规划、设计和实施落地。
演讲题目:基于需求驱动的数据治理场景化实践
演讲提纲:在大数据时代,数据治理已经成为了企业数字化转型的必经之路。然而传统的数据治理和数据资产管理工作往往偏向中后台,如何将数据资产管理与业务、开发结合,将数据治理由管控走向服务,更好地体现数据资产的成果和价值,是目前行业数据治理共同面临的痛点和挑战。为此,本次分享从需求管理的思路出发,面向监管报送、资产管理、经营分析等实际的业务场景以及模型开发、测试和生产环境一致性保障等开发场景,剖析痛点和需求,设计方案,实现数据治理的场景化落地。
听众收益:
1. 数据治理缺乏业务配合,如何驱动业务和开发的积极性?
2. 数据治理流于形式,如何嵌入日常的研发节点?
3. 数据治理涉及领域众多,如何融合打通?
扫码咨询报名
往期优质文章推荐
往期推荐
火山引擎VeCDP:如何0-1构建与应用标签体系
纵腾湖仓全链路落地实践
知乎的缓存加速:Presto的进化实战(长文解读)
阿里巴巴数据模型设计与构建实践
更多最新详情,点击阅读原文,查看大会官网!