AI高阶工程-大模型推理

Job description

• 负责大规模预训练模型（如GPT、BERT、LLM等）的推理系统设计、优化与落地，实现模型在多平台（GPU、CPU、NPU等）上的高效推理。
• 针对模型推理场景，深入分析性能瓶颈，主导模型量化、剪枝、蒸馏、结构重参数化等前沿推理加速技术的研究与应用。
• 参与大模型推理框架（如TensorRT、ONNX Runtime、OpenVINO、MindSpore等）的开发与优化，提升推理效率与系统稳定性。
• 跟踪业界和学术界大模型推理相关前沿技术，推动创新方案在业务中的应用落地。
• 与算法、系统、硬件等团队紧密协作，制定端到端的推理优化方案，支撑业务高并发、低延迟的需求。
• 负责推理平台的技术难点攻关，解决模型部署、兼容性、资源调度等实际问题。
• 计算机、人工智能、电子工程等相关专业硕士及以上学历，5年以上AI推理/系统优化相关工作经验。
• 深入理解主流大模型结构及推理原理，熟悉Transformer、LLM等模型的高效推理优化技术。
• 精通至少一种主流深度学习框架（如PyTorch、TensorFlow、MindSpore等）及其推理引擎（如TensorRT、ONNX Runtime等）。
• 熟悉模型压缩、量化、剪枝、蒸馏等加速技术，并有实际落地经验。
• 扎实的编程能力，精通C++/Python，具备良好的系统调优与性能分析能力。
• 有大规模分布式推理、异构计算（GPU/CPU/NPU）或端侧推理部署经验者优先。
• 具备良好的团队协作、沟通能力和创新精神，能承担复杂项目的技术攻关任务。
• 有相关开源项目贡献、顶会论文发表或大模型推理产品化经验者优先。 围绕公司内主流应用模型进行模型压缩和加速方面的算法和工程探索，面向高效推理场景进行模型结构设计和改造； 构建高性能、多硬件的统一NTP推理框架，支持自研模型和优秀开源模型的推理，支撑公司内大模型应用的低成本探索。