职位详情
数据平台开发-数据集成与存储、计算
面议
应届毕业生 本科
职位描述

职位描述:

1、负责科研数据平台下实时/离线数据集成业务的计算架构设计与开发;

2、负责对实时/离线数据集成服务的性能和稳定性进行优化;

3、参与计算与存储引擎的定制和改进,与合作机构/开源社区保持合作;

4、规划数据集成和数据湖等技术方向,培养发展技术团队,输出行业级别影响力。

职位要求:

1、扎实的计算机基础和算法数据结构功底,对技术有热情,愿意不断尝试新技术和业务挑战;

2、熟悉Spark、Presto、Druid、Kylin、Hive等主流大数据系统原理及源码(不要求熟悉所有技术栈);

3、熟悉主流的OLAP引擎的优化原理,向量化执行、Filter下推、物化视图、列式存储等;

4、掌握Java或Scala语言,如并发编程和JVM等,追求高标准的工程质量;

5、熟悉并行计算或者分布式计算原理,熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案;

6、具备较强的业务需求分析能力,问题定位能力良好的沟通能力和自我学习能力;

7、有Storm/Spark Streaming/Flink等实时计算开发经验,向社区贡献过patch者优先(请注明);

8、熟悉Hadoop Eco System/Kafka/Click house等技术者优先。

联系方式
125人关注 收藏职位 投递简历