混元大模型漫爬数据策略算法工程师

Job description

Responsibilities

• 负责大模型预训练/AI搜索业务的全网漫爬策略设计，解决资源发现和调度问题，覆盖全语种/多模态，提升有价值数据覆盖率、时效性；
• 页面质量，基于机器学习/NLP/LLM，构建高质量内容筛选策略，识别低质量/垃圾/重复页面，提高数据质量；
• 重复问题解决，优化URL/资源内容去重策略，提升爬虫抓取效率、内容转化和留存能力；
• 内容理解，基于BERT/GPT/LLM 等技术，构建网页内容理解、网页分类，助力大模型训练数据/AI搜索效果。 Requirements
• 计算机相关专业优先，熟悉 python/c++编程语言；
• 有数据工程或相关领域的工作经验，具备一定的机器学习算法基础，了解BERT/GPT/LLM 等技术；
• 熟练掌握大数据技术栈，包括Hadoop、Spark 等，有使用数据库（如SQL）和数据仓库的经验。