职位简介
工作职责:
1、负责达达集团实时数据仓库的架构设计&开发
2、负责实时数仓模型设计以及在业务中落地
3、负责对实时计算服务的性能进行优化
4、参与实时计算平台的运维,保证系统的高可用性和稳定性
5、参与优化分布式平台框架,解决大并发下的各种问题
6、提供日常实时数据解决方案支持,推广实时应用场景
职位要求:
1、本科及以上学历,计算机、软件工程或相关专业出身,4年以上工作经验
2、具备扎实的Java语言基础,熟悉Python/Scala等一种或多种编程语言
3、具有Hadoop/Hbase/Druid/ClickHouse/Kafka/Zookeeper/Flink/Spark等相关技术研究或开发经验,密切关注大数据相关技术的发展趋势,
4、理解数据湖、实时数仓等理念,能够快速的理解业务模型及数据模型
5、理解ETL过程,拥有DW项目开发经验,熟练掌握SQL/HQL
6、熟悉Linux环境及脚本开发(Python/Perl/Shell等)
7、积极主动参与讨论、发现并解决问题
8、学习能力强,拥有优秀的逻辑思维能力、良好的理解和表达能力、较强的抗压能力
9、能迅速融入团队,与其他团队成员保持良好的合作
加分项:
-熟悉Docker/Mesos/Kubernetes等容器相关技术者优先
-熟悉Doris、Hologres、TiDB、Kudu等实时存储者优先
-熟悉ranger及sentry等大数据权限管理者优先
-有过Hadoop开源项目经历者优先