本期 Workshop,我们聚焦在模型推理优化及组织的 AI 智能化转型。
推理成本是当下大模型落地面临的难题之一,整个 AI 行业都在探索如何高效利用计算资源,并行处理更多的推理请求。国内的云厂商也都在针对现有的推理构架做优化,甚至推出新的异构算力的解决方案。比如腾讯此前推出了大模型推理加速引擎 Taco-LLM,表现全面优于 vLLM 框架,吞吐性能提高 78%。
腾讯云异构 AI 研发副总监叶帆将分享他对大模型推理加速工具的理解与实践。
很多企业都在关注 AI 的智能化数字转型,我们请到了腾讯乐享产品资深架构师沈林玲来做分享。
乐享源于腾讯内部,过去 15 年是腾讯 HR、行政、企业文化、业务部门的组织学习协作平台。2017 年开始乐享对外开放,至今服务超过 30 万企业,涉及 100 多个细分行业。2023 年,腾讯乐享发布 AI 助手,专注于向企业提供 AI 智能化体验。
如果你关注大模型领域,欢迎扫码加入我们的大模型交流群,来一起探讨大模型时代的共识和认知,跟上大模型时代的这股浪潮。
更多阅读
Sora 的算力困局:如果正式推出,可能需要 72 万张 H100
转载原创文章请添加微信:geekparker
正文完
可以使用微信扫码关注公众号(ID:xzluomor)