TensorRT-LLM + Triton:ASR大模型与流式TTS的加速优化之道

734次阅读
没有评论

从1995年 Dragon Dictate 的桌面孤立词语音识别,到2011年苹果的手机语音助手SIRI,再到当下百花齐放的各种智能语音应用,语音AI技术不断创新,解锁新的应用。在这一过程中,语音模型规模不断增大,带来了更复杂的训练和推理任务。

大模型时代,如何有针对性地在语音模型的训练、推理、部署等方面进行加速和优化,成为很多企业关注的焦点。在这个背景下,NVIDIA 作为业界的技术领军者,致力于提供先进的工具和解决方案,帮助实现语音AI的快速发展和更广泛的应用。

12月19日和12月21日每晚19:30-21:00DataFun 社区将联合 NVIDIA 举办主题为「大模型时代语音AI模型的训练、优化与应用」的线上直播活动。本次在线研讨会,来自 NVIDIA 的技术专家,将着重为您介绍如何有针对性地在语音模型的训练、推理、部署等方面进行加速和优化,内容涵盖以下话题:

🔥 如何在 NEMO 框架下快速进行包含 ASR、NLP 和 TTS 全流程语音训任务练;

🔥 如何利用 NVIDIA Riva 这一强大的基于深度学习的 SDK 快速部署企业级中文语音AI服务并进行优化加速;

🔥如何利用 TensorRT-LLM 和 TensorRT + Triton 对 ASR 大模型和流式 TTS 进行加速优化。

同时,来自小米新一代 Kaldi 项目团队的技术专家,也会分享“新一代 Kaldi 中基于 GPU 的语音识别实践”的经验分享。

内容精彩纷呈干货满满,不要错过!

TensorRT-LLM + Triton:ASR大模型与流式TTS的加速优化之道

TensorRT-LLM + Triton:ASR大模型与流式TTS的加速优化之道

TensorRT-LLM + Triton:ASR大模型与流式TTS的加速优化之道

TensorRT-LLM + Triton:ASR大模型与流式TTS的加速优化之道

*报名即送电子书《模型推理与部署》

TensorRT-LLM + Triton:ASR大模型与流式TTS的加速优化之道

👇点击「阅读原文」,免费报名参会,会后领取PPT

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy