人工智能

1、负责推理引擎底层性能优化，基于主流 AI 框架（如 vLLM、TensorRT-LLM、PyTorch等）的内核架构与算子执行流程，研究并落地异步调度、算子下发、算子融合、XLA编译等优化技术；参与推理引擎多硬件后端适配层开发，支持GPU、昇腾 NPU等算力平台，针对不同硬件特性适配图执行策略； 2、参与大规模分布式推理系统的设计与实现，深入模型量化（Quantization）（含 PTQ/QAT）、KV压缩、模型稀疏等技术，在精度无损前提下最大化推理吞吐与资源利用率； 3、参与 Prefill-Decoding 分离部署架构的设计与实现，实现资源隔离与独立扩缩容；优化 PD 分离下的 KV Cache跨节点传输机制，设计高效的传输协议，降低分发开销；设计 PD分离下的请求路由与负载均衡策略，实现集群全局最优的吞吐与延迟； 4、实现 Continuous Batching / Chunked Prefill 等先进调度策略，消除 GPU 空闲气泡；负责长序列、多模态、Agent多轮等复杂场景的推理性能优化，解决 Token冗余、上下文膨胀、跨模态调度等难题；构建基于任务复杂度的动态