AI Infra工程师

1、推理框架适配与优化：参与开源推理框架（如vLLM、Text Generation Inference、SGLang等）在昇腾NPU平台上的适配与性能优化，支撑MoE架构大模型（如DeepSeek、通义千问等）的高效推理。 2、核心算子与加速库开发：基于异构计算编程语言（如Ascend C、Triton）开发并优化大模型关键算子（如注意力机制、MoE路由、KV Cache管理等），参与构建亲和NPU的推理加速库。 3、全栈性能调优：从算子、系统调度、显存管理等多个维度分析推理瓶颈，设计动态批处理、请求调度、计算与通信并发等策略，降低推理时延并提升吞吐量。 4、软硬协同需求分析：结合大模型发展趋势（超长文本、多模态、Agent等），利用性能仿真与场景化测试，分析未来推理负载对硬件与系统的需求，为后续优化方向提供数据支持。 5、开源社区协作：将研究成果以高质量代码形式合入开源社区主仓，参与社区讨论与代码评审，逐步建立个人技术影响力。