混元大模型预训练算法研究员/专家研究员（深圳/北京/上海）

Job description

负责生成式大模型预训练相关的工作，包括但不限于

• 大规模模型预训练，长文本预训练，线性模型结构探索；
• 探索与跟进前沿技术，寻求技术突破，推动机器在AIGC能力的提升和突破；
• 探索高效的模型知识嵌入方法以及模型知识在线学习更新；
• 探索文本模型预训练的scaling law，在小规模小成本下更精准地预测大规模训练后的表现。 Requirements
• 熟练掌握Python，熟悉Linux环境开发，精通应用深度学习框架TensorFlow或者PyTorch；
• 持续跟进前沿的深度学习技术，了解前沿的深度学习相关算法，熟悉Transformer等模型结构；
• 具备分析问题定义问题和解决问题能力，具备持续的自驱力来面对挑战；
• 有大规模模型预训练实践经验者或有较强的研究能力在机器学习领域顶级会议发表过高质量论文者优先。