多模态算法工程师

Job description

1. 多模态语音分离算法研究与创新 a. 系统调研语音分离、多模态融合领域顶会顶刊最新进展，梳理基于唇语、人脸关键点、说话人表征的多模态语音分离技术路线； b. 复现 3-5 个主流多模态语音分离基线模型（如 Audio-Visual Speech Separation 系列、Lip2Speech 融合方案等），建立统一的训练、评估基准。 c. 座舱场景算法创新与优化:针对车内强背景噪声、多路麦克风阵列、多乘员同时说话、人脸姿态多变等特有挑战，设计适配座舱场景的多模态融合语音分离算法； d. 学术论文产出，整理算法创新成果，撰写符合学术会议 / 期刊规范的研究论文；配合完成实验补充、论文修改与投稿相关工作。 2. 多模态数据收集整理与全链路 Pipeline 搭建，包括开源多模态数据集 Pipeline、视觉特征提取链路 Pipeline、座舱实车数据处理 Pipeline

Qualifications

学历背景

• 计算机、信号处理、电子工程、人工智能等相关专业本科或硕士在读
• 熟悉深度学习基础，了解常见神经网络结构（如CNN、RNN、Transformer）；
• 具备语音/音频处理基础，了解信号处理经典方法（如波束成形、时频分析）；

掌握Python编程，熟悉至少一种深度学习框架（PyTorch/TensorFlow）； 加分项

• 有多模态学习、音频分离、计算机视觉相关项目或研究经验；
• 熟悉音频生成、声源定位、视觉辅助语音分离（如唇动识别）等技术；
• 发表过相关领域论文或竞赛获奖经历；