大数据平台架构师
面议
应届毕业生
本科
职位描述
岗位职责:
1、负责公司Hadoop集群资源管理调度器优化,包括但不限于集群规模、调度吞吐能力、资源利用率等多个方向。
2、负责大数据底层技术组件社区跟进、关键问题攻关,解决平台应用开发、数据开发、运维等用户反馈的平台技术难题。
3、根据公司业务场景需求,对现有底层技术组件进行稳定性健康运行保障、性能优化、二次开发、版本升级。
4、根据公司项目和业务发展特点,研究大数据相关前沿技术。
任职要求:
1、基本要求:本科及以上学历,计算机、数学等相关专业。
2、工作经验:5年以上工作经验,有开源社区主流项目的COMMITER和PMC经验者优先。
3、知识技能:
1)熟练使用Hadoop、Spark、Flink等大数据技术,熟悉SQL、Java、Scala、Python等编程语言;
2)熟悉Spark、Presto/Trino、Flink、Hive、Impala等主流大数据系统原理及源码,可以对底层组件进行源码二次开发;
3)有超PB级别大数据处理实战经验,熟悉整个大数据的完整处理流程,优秀的问题解决能力;
4)熟悉主流的OLAP引擎的优化原理,向量化执行、Filter下推、物化视图、列式存储等;
5)熟悉HUDI、Iceberg或者DeltaLake 为代表的数据湖技术。
4、素质要求:积极主动,责任心强,执行高效,良好的沟通和团队协作能力,善于解决和分析问题。
联系方式
推荐职位
-
压痕师傅 5000-8000元富阳区 大专 1年以上 2024-05-14杭州富阳宏伟服装辅料有限公司
-
蚂蚁集团-解决方案架构师专家-oceanbase 30000-50000元西湖区 本科 应届毕业生 2024-05-14蚂蚁科技集团股份有限公司
-
软件架构师(无人叉车行业) 面议钱塘区 本科 应届毕业生 2024-05-15重庆慧猎信息科技有限公司
-
数据架构师 30000-60000元滨江区 本科 应届毕业生 2024-05-14网易(杭州)网络有限公司
-
阿里云智能-云业务架构师(泛互联网方向)-杭州 10000-20000元余杭区 本科 应届毕业生 2024-05-15阿里巴巴(中国)有限公司
-
系统架构师 20000-40000元滨江区 本科 应届毕业生 2024-05-04江苏达科信息科技有限公司