多模态大模型算法工程师-【可灵AI-数据效能研究方向】

Job description

数据效能研究（Data Efficiency）

• 基于多模态大模型训练过程，分析不同模态数据的有效性、信息增益与贡献度；参与数据选择、数据蒸馏、难例挖掘等前沿技术探索，提升训练效率与模型表现；

数据–模型协同设计（Co-Design）

• 与模型团队协作，从训练曲线、梯度信号与分布特征中反推数据质量，研究分阶段（预训练/SFT/对齐）数据策略，设计高效的数据结构与采样机制；

高质量数据构建（Data Quality Engineering）

• 参与多模态数据 pipeline，包括自动标注、Caption 生成、数据去噪与一致性检查；探索弱监督、合成数据与模型 in-the-loop 的高质量数据生产方式；

多模态数据分析（Multimodal Analytics）

• 对训练数据进行覆盖度、偏差与难度分析，构建可视化与指标体系，为模型能力诊断与数据重构提供依据。
• 具有计算机、人工智能、统计学等相关专业硕士及以上背景，理解深度学习与多模态模型基本原理；
• 熟练掌握 Python/PyTorch，具备扎实的数据分析能力，对模型训练数据的分布、质量与信号敏感度有较强理解力；
• 对数据效能、数据选择、数据蒸馏、合成数据、self-supervised 等方向有浓厚兴趣，有相关项目或研究经验优先。

加分项

• 了解视觉语言模型（VLM）、视频-语言模型、多模态 pretrain/SFT 对齐流程；
• 有数据工程 pipeline 经验（WebDataset、数据采样策略、自动标注等）；
• 关注数据与模型协同优化的前沿研究，具备探索精神与快速阅读论文能力。