【大模型北斗实习】语音多模态及深度推理大模型应用技术研究

Job description

该课题聚焦于利用语音多模态大模型以及深度推理大模型构建对话Agent，通过实时全双工交互，精准理解和感知用户情绪，凭借高情商为用户提供极具价值的回复，旨在为用户打造温暖、贴心且高度智能的对话Agent。

研究内容

​ 1）参与语音多模态大模型在客服、销售、C端助理等场景应用技术研究，通过文本-语音的对齐机制等措施，提升模型对语音中包含的语义以及声学信息的实时理解与处理能力，通过加入业务知识，增强对业务场景知识遵循能力。 2）结合客服、销售、C端助理等业务问题，研究大模型反思、规划、决策等深度推理能力，提升模型回复的拟人度及回复准确性。 1）熟悉LLM、Speech Codec、NLP Dialog、语音（ASR / TTS）、情感分析等相关领域，对至少一个方向有深入研究，并有实际项目经验，能够将理论知识应用于实践。​ 2）有扎实的大模型实践和研究能力，尤其是在推理和决策优化领域具有深刻的理解。 3）熟练掌握 Python 等编程语言，具备良好的编程习惯与代码能力，熟悉 Linux 开发环境。​ 4）熟悉 Megatron、DeepSpeed 等开源训练框架。​