日均作业百万核的字节跳动实践

1. 自研训练框架：目前除了业界开源的 Tensorflow、Pytorch，为了满足用户的各种需求，字节也在机器学习场景进行了深入探索，自研多个训练框架用于满足用户需求；
2. 拥有底层资源调度系统 YARN 和 Kubernetes：目前阶段处在 YARN 向 Kubernetes 的迁移过程中，在此过程中需要对用户屏蔽底层的调度系统，提供一致的体验；
3. 大规模应用混部资源：由于混部资源不稳定的特点，对训练的容错和稳定有着更高的要求；
4. 支持复杂调度编排语义：为了使集群资源利用率最大化，需要将合适的容器放在适当的位置上，并需要能够动态调整并发和容器大小。
5. 支持复杂数据源和数据调度需求：支持多种类型数据源和数据类型的混合训练，如 HDFS、Kafka 等批式流式数据源，Text、PB、Parquet 等数据类型。

分布式训练调度框架 Primus

架构介绍

1. 提交阶段

• 训练资源包括需要的角色（如 PS，Worker 等）以及各角色所需的资源，包括其需要的 CPU、内存以及运行脚本、环境变量等。
• 数据输入用于描述如何把数据提供给训练器。
• 容错策略用于描述遇到错误时，Primus 需要进行的操作。

1. 执行阶段

1. 数据读取

功能介绍

1. 多训练框架支持：Tensorflow、PyTorch、Monolith 等；
2. 多调度器支持：YARN、Kubernetes 等；
3. 多角色支持：如 PS-Chief-CPU、Worker-GPU、Worker-Evaluator 等，并支持多角色之间的亲和反亲和等特殊调度策略；
4. 多编排策略：支持同时启动，逐个启动，基于角色的按顺序启动等（如先启动 PS，再启动 Worker）；
5. 容错处理：Worker 失败自动拉起新 Worker，PS 失败整体失败；
6. 动态调度：例如支持动态扩大缩小 Worker 数；
7. 多数据源数据类型支持：HDFS、Kafka 等；
8. 数据负载均衡与状态保存：支持按 Worker 负载动态分配 Task，如在 Worker 失败时支持回收 Task 并进行重新分配；
9. 多线程高速数据读取：支持多线程读取 HDFS 和 Kafka 后输出到训练器，提高单训练器的吞吐。

部署情况

未来规划

1. 开源 Primus 更多能力后续将陆续开放，详见：https://mp.weixin.qq.com/s/uGBy-WpdjTMUy-7MQAZiww
2. Primus 目前与字节内部训练框架集成较多，Tensorflow 和 Pytorch 可以使用 Primus 的基本能力，后续将开发 Tensorflow 和 Pytorch 适配 Primus API 实现更深度的集成，赋能开源训练框架。