【LongCat实习】 大模型推理AI工程师

Job description

• 负责大模型推理引擎的研发和优化，包括推理系统优化、模型量化压缩和模型部署；
• 负责开发和维护基于大规模数据的推理引擎；
• 参与解决推理过程中的技术难题，提升推理算法的性能和效果；
• 开展相关领域的技术研究，提出创新性的解决方案。
• 大学本科及以上学历，计算机相关专业优先；
• 有软件开发经验，有推理引擎开发经验者优先考虑；
• 熟练掌握C++、CUDA编程，熟悉常见的数据结构和算法；
• 熟悉机器学习和深度学习理论，具备扎实的编程能力，熟悉Transformer结构优化者优先；
• 熟悉常用的深度学习框架，如TensorFlow、PyTorch等，熟悉以下推理框架者优先sglang/vllm、FasterTransformer、DeepSpeed FastGen、TensorRT-LLM等；
• 具备良好的团队合作精神和沟通能力，能够承担一定的工程管理职责。