【大模型北斗实习】大模型模型压缩技术探索

Job description

本课题专注于大模型前沿压缩技术探索，通过压缩技术降低大模型的推理部署成本。

课题研究内容包括但不限于

• 探索多种模态（文本、语音、视觉）的模型压缩技术，不限剪枝、蒸馏、稀疏、量化、低秩化。
• 探索新轻量化结构，不限 MoE、Mamba、Sparse-Attention、MTP，实现训练和推理的协同优化。
• 探索低精度量化算法，以及新型量化格式，不限预训练和后训练过程，实现大模型的极致压缩。
• 高性能算子设计和开发，实现极致的压缩推理性能。 1）熟悉常用的模型压缩技术：剪枝、量化、蒸馏、稀疏化。 2）熟悉 vLLM、SGLang 等开源推理框架。 3）熟悉 Megatron、DeepSpeed 等开源训练框架。

加分项

1）有影响力的开源项目中做出过核心贡献。 2）发表过高水平论文优先（如ICLR,ICML,ACL,EMNLP等）。