多模态预训练框架研发工程师

Job description

Responsibilities

• 参与开发优化大模型训练框架，支持单任务万卡以上规模高效稳定训练；
• 参与 NLP、多模态大模型结构设计，并联合业务进行模型训练效率和效果验证；
• 参与文生图、文生视频（DiT）、文生3D等业务的训练性能加速；
• 参与低精度训练（FP8/Int8）性能优化、大窗口（Long Context）训练性能优化及业务推广。

Requirements

• 熟练使用 PyTorch，具备 DDP/FSDP 性能分析与优化能力；
• 深入理解 DeepSpeed、Megatron 等框架，掌握 3D 并行、ZeRO 机制、Flash-Attention 的原理与优化方向；
• 有 ViT、Stable Diffusion、DiT 模型训练优化经验者优先；
• 熟练掌握 CUDA/Triton 性能优化，有算子编写经验者优先；
• 对大模型前沿技术敏锐，有实际调参、效果评测经验。