MaaS模型评测高级工程师

Job description

Responsibilities

• 负责腾讯云MaaS产品质量保障工作，深度参与产品质量体系建设，识别全链路上的质量风险，建立稳定性保障体系，推动稳定性建设落地；
• 腾讯云MaaS产品相关的模型评测工作，包含模型的评测体系建设、评测集构建、以及相关评测工程化建设等；
• 跟踪业界评测基准动态（如 SWE-bench、HumanEval、MMLU、AgentBench 等）以及业界模型（如kimi，deepseek，minimax，glm等）发展动态；
• 建设相关评测工具/平台，推动评测工程化和无人化。 Requirements
• 大学本科及以上学历，计算机科学与技术、软件工程、大数据技术、人工智能、智能科学与技术等专业；
• 精通Python程序开发，有良好的编码风格及创新优化意识，具备较强的程序开发能力；
• 有大模型训练或模型评估经验，熟悉大模型评测方法 , 有大模型Bench数据接入经验优先；
• 对推理框架（如sglang、vllm等）有经验的优先；
• 有责任心和较强的团队意识，对人工智能有较强的兴趣；
• 具备优秀的沟通协调能力和团队协作意识，有项目管理或团队负责人经验优先；
• 大模型产品深度用户，PE（提示工程）实践经验者优先。