微软推出 ZeRO++ 技术,可显著减少 AI 大模型训练时间和成本

419次阅读
没有评论

品玩6月27日讯,据微软官方消息,微软研究人员日前推出了名为 ZeRO++ 的新技术,可显著减少大模型训练时间和成本。

ZeRO++ 建立在 ZeRO 传输技术基础上,提供增强的通信策略,可提高训练效率,同时减少训练时间和成本。ZeRO++ 可对权重进行量化,其利用基于块的量化方法来保持训练精度,这种优化的量化过程相对原始 Zero 传输技术更快更准确。

微软推出 ZeRO++ 技术,可显著减少 AI 大模型训练时间和成本

微软研究人员表示,与 ZeRO 相比,ZeRO++ 减少了高达 4 倍的通信量,提高了训练吞吐量和效率。

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy