大数据开发工程师
25000元以上
5年以上
本科
职位描述
岗位职责:
1、参与核心产品的架构设计,负责大数据平台和数据仓库相关架构开发和核心架构模块实现;
2、依据公司的大数据技术发展路线,负责基于Hadoop生态系统和MPP数据库的大规模数据平台的研发及数据仓库的架构来访,提供可靠的数据存储和访问能力;
3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优,保证集群高效稳定运行;
4、规划与开发离线数据平台系统,处理海量数据,优化存储和计算架构的性能;
5、负责数据平台技术难点攻关、技术选型评估,参与开发流程的讨论与优化;
6、参与公司数据治理策略等的制订和实施;
7、负责协助产品经理进行数据仓库相关的需求分析、建模、宽表设计等工作;
任职要求:
1、本科以上学历,5年以上大数据研发经验,有过大型的大数据项目的开发与实践经验;
2、有基于多租户体系的大型分布式系统设计经验,负责过海量数据平台上高可用、高性能分布式系统的架构设计;
3、熟悉大数据开发框架,熟悉hadoop,hbase,spark,等及业界主流流处理平台如,如storm, flink,sparkstreaming等之一;
4、熟悉Greenplum、ClickHouse等数据仓库技术,并有广泛的实践经验,具备维护和解决生产问题的能力;
5、熟悉掌握分布式存储和NoSQL数据库技术(如MonogoDB、Redis等),有实际生产项目应用经验;
6、熟练掌握java,python,scalar中的至少一种编程语言,掌握常见的数据结构,算法,了解软件工程、敏捷开发等知识,熟悉常用设计模式
7、理解SOA,微服务,中间件等PAAS相关的关键理念与技术,并对其有广泛的实践与应用经验,乐于分享。
8、有大数据项目、调度、风控等系统设计和从业经验者优先。
9、有良好的沟通能力,工作细致,能承受工作压力,踏实肯干,富有团队精神
联系方式
推荐职位
-
产品运营(音乐方向) 15000-22000元滨江区 本科 应届毕业生 2024-05-22网易(杭州)网络有限公司
-
资深测试开发工程师-飞书 25000-50000元西湖区 本科 应届毕业生 2024-05-21北京字节跳动网络技术有限公司
-
品牌业务发展中心-天猫服饰-bi-商业数据分析 10000-20000元余杭区 硕士 应届毕业生 2024-05-21阿里巴巴(中国)有限公司
-
蚂蚁集团- c++/rust研发工程师(隐私计算方向)-上海/杭州 40000-70000元西湖区 本科 应届毕业生 2024-05-21蚂蚁科技集团股份有限公司
-
中间件运维工程师 15000-30000元滨江区 本科 应届毕业生 2024-05-21华为技术有限公司
-
ai算法工程师(gpt大模型)(021274) 面议应届毕业生 2024-05-21维沃移动通信有限公司