【北斗实习】广告大模型训练推理工程师-【生成式广告大模型】

Job description

【课题说明】 信息流广告系统一般采用“召回->粗排->精排->出价->拍卖”的多级漏斗架构，但各模块独立优化导致优化目标不一致，前链路会制约后链路上限，漏斗效率折损大。随着大模型和生成式技术的快速发展，其强大的表征能力和良好的Scaling性质也为广告系统提供了新的可能性。本研究旨在探索如何利用生成式技术重塑整个广告系统，通过一个端到端的生成式广告大模型完成所有决策，打破多级漏斗框架，打开模型决策空间，最大化平台收益。 【建议研究方向】

生成式广告训练系统设计

• 基于前沿大模型（如Transformer、HSTU等），设计生成式推荐模型的分布式训练框架，优化数据/模型的高效并行处理和混合精度训练策略。

高性能推理引擎建设

• 既有大稀疏（Embedding），又有大稠密（LLM）的模型结构下，优化延迟、吞吐量和显存占用，支持千亿/万亿参数模型的实时推理需求。

低进度优化

• 基于结构化和非结构化模型进行低进度训推协同优化，从源头解决模型性能与精度的平衡难题。

广告链路端到端重塑

• 超长行为序列与超大候选Item情况下，优化传统的多阶段网络传输架构，需要一体化硬件支撑的召回/排序/机制统一服务。 海内外高校在校本科生（大三及以上）、硕士生及博士生，且以下条件至少满足一项

工程高手

• 有大厂实验室的实习经验，或有贡献突出的开源项目，熟悉PyTorch、Megatron、vLLM/SGLang等机器学习框架，有大规模分布式系统开发经验。

竞赛大神

• 在ACM-ICPC（国际大学生程序设计竞赛）、Kaggle、数学建模竞赛（如MCM/ICM）、奥赛（数学、物理、信息学等）等取得显著成绩。

学术达人

• 在顶级期刊或学术会议上以第一作者身份发表论文（或导师一作，自己为二作）。重点关注ICLR，NeurIPS,ACL, EMNLP, ICML, TPAMI, TASLP, TKDD上有一作论文的候选人。

社区达人

• 社区（github、知乎、CSDN等）活跃者、有开源项目并被较多引用者优先。