多模态大模型算法工程师

Job description

岗位职责

• 负责视觉-语言大模型(VLM)研发与优化，推动中医智能诊疗、医学图像分析等场景的端到端算法落地。
• 针对舌象、面色、关节等多类医学图像，开发分类、检测、分割及异常检测算法，支撑辅助诊断与健康评估。
• 设计跨模态融合架构，实现图像、文本等多源数据的协同建模与联合推理。
• 基于LLM/VLM进行SFT、RLHF、LoRA等微调，优化辨证论治、报告生成、医学问答等任务，提升临床实用性。
• 开发具备自主推理与工具调用能力的Agentic智能体，覆盖辅助诊断、用药监测、随访管理等自动化场景。
• 构建医学知识图谱，结合RAG技术增强模型可解释性与专业可信度。
• 跟踪前沿技术，探索创新应用，确保算法符合医疗伦理与监管要求。 任职资格
• 硕士及以上学历，计算机、AI、生医工等相关专业，3年以上算法经验，有医疗AI项目经验优先。
• 深度学习基础扎实，熟悉LLM、VLM、多模态学习，具备丰富的大模型训练与微调（SFT/RLHF/LoRA等）经验。
• 精通多模态算法，有VLM实战经验及跨模态融合、对齐与推理项目经历；熟悉医学图像分析，掌握分类、分割、检测等任务。
• 精通PyTorch/TensorFlow，有大模型微调与部署经验；熟悉vLLM、DeepSpeed、Megatron等框架优先。 了解Agentic开发，熟悉LangChain、LangGraph、AutoGen等智能体框架，有自主决策型智能体开发经验优先。
• 熟悉知识图谱构建与应用，有医学知识图谱经验优先；了解RAG技术，有检索增强生成系统开发经验优先。
• 了解医疗AI安全与合规要求（数据隐私、可解释性、临床验证等）；具备快速学习能力，对AI+医疗创新有高度热情。

加分项

有医学影像分析经验（关节、骨骼、舌象等）。 在ACL、CVPR、MICCAI等顶会/期刊发表多模态或医疗AI论文。 有AI医疗产品落地经验，参与过从研发到临床验证全流程。