分布式存储研发工程师

Job description

美团分布式存储方向，承载了全公司数据仓库和机器学习的全部离线数据，为业务提供了高可用、高可靠、超大规模的大数据存储底座、元数据存储、表格存储和消息存储服务，工作职责包括但不限于

• 持续提升大数据存储底座的性能、稳定性、可靠性，解决AI时代爆发的数据访问的性能和成本压力，为AI训练海量数据提供更好的元数据扩展性和数据性能
• 持续优化成本，提升数据全生命周期管理能力，解决AI时代数据规模爆炸性增长的资源需求
• 持续提升数据底座和元数据底座的可观测性、审计能力、安全能力以及周边工具链，增强在大数据和AI场景下的数据易用性和安全性
• 熟悉 Spark、Presto、Hive、HBase 等主流大数据系统中一种或者几种的原理；
• 精通C/C++或Java，精通网络编程，多线程、高并发编程；
• 理解大型分布式存储系统工作原理，掌握生产环境中各种架构的元数据、数据的可用性、性能的分析方法
• 超大节点规模和EB级数据规模，服务覆盖美团等多种领域业务，从数据规模、集群体量、业务复杂度多个维度提供了技术挑战和锻炼发展的机会；
• 在数仓和机器学习等多种场景下，挑战性能极限；
• 参与改变数据管理方式，在超大容量规模基础上实施落地分层数据管理；