大模型算法专家

Job description

• 从flops efficiency角度，对大模型预训练过程进行分析与探索，包括不限于对scaling law的研究，数据的认知实验，MoE等模型架构设计，以及其他工程与算法结合的ml sys相关优化等。
• 负责原生多模态大模型的构建与预训练，包括各模态分词器设计，合成数据策略，以及跨模态融合训练策略等，提升原生多模态模型在视觉/语音的理解与生成任务上的能力。
• 进行大模型reasoning能力的相关研究，研究pre-train / test-time compute对于模型推理能力的影响，借助SFT / DPO / self-play等手段，提高模型在代码数学等推理任务上的表现。
• 通过post-training激发模型在各下游任务上的能力，从而构建具有通用问题解决能力的agent。 1. 对大模型有技术热情，熟悉GPT/BERT/T5等模型的原理； 2. 熟悉Python，熟练使用TensorFlow/PyTorch/Megatron/Triton等深度学习训练或推理框架，熟悉java/C++中的一种。 1. 团队资源丰富，技术审美优秀，在MoE、原生多模、scaling law、self-play等技术方向都有较为前沿的探索经验。 2. 原生多模统一理解与生成，探索空间巨大，能力天花板高。团队在原生多模领域起步较早，具有充分的实践经验和行业一流的认知。