AI Infra模型推理加速工程师

岗位描述： 1、核心职责：负责音频生成大模型（Language Model / DiT / Flow）的全链路工程化部署与推理加速，打通从研发到生产的快速迭代通道，确保模型高效、稳定落地。 2、性能优化：精通性能剖析工具（如 torch Profiler、Nsight Systems、NCU），系统性定位计算、内存、IO瓶颈。综合运用CUDA编程、高性能算子开发（Triton/TileLang等）、并行计算策略，实现推理速度与吞吐量的显著提升。 3、框架适配与服务化：主导 vLLM、SGlang、TensorRT-LLM、vllm-omni、sglang-diffusion 等前沿推理框架的接入、深度定制与性能调优，针对音乐生成长序列、高并发场景进行专项优化，构建高可用、低延迟的推理服务。 4、技术攻关：深入理解并应用针对音频生成模型的加速技术，包括但不限于 KV Cache优化、Flash Attention、FlashInfer、torch compile、torchao、Cache-DiT 等，有效解决长序列生成中的显存与实时性挑战。 5、前沿探索：持续跟踪音频/音乐生成