大数据开发工程师

任职资格：

1、至少三年以上大数据项目开发经验，熟悉Hadoop生态系统，包括并不限于：Hadoop、MR、Hdfs、Yarn、Hive、HBase、Flume、Kafka、Kettle、Kylin、ZooKeeper、ELK、Storm、Impala等组件，尤其需要熟悉Hive、HBase；

2、必须熟练掌握Spark计算框架，有良好的Java和Scala开发能力，能快速实现各类大数据的计算处理任务；深入研究过Spark等计算框架的运行机制和源码者优先；有数据统计分析、日志分析、推荐系统、机器学习、数据挖掘等应用经验者优先；

3、精通SQL，有较好的SQL性能调优经验；

4、熟练掌握linux，熟悉Python、Shell等脚本语言。

岗位职责：

1、负责大数据平台的数据应用系统的开发，参与需求分析、架构设计、模块开发、测试和部署；

2、应用大数据计算引擎处理海量数据，完成数据模型设计、数据计算和数据挖掘；

3、技术预研、探索并应用大数据前沿技术。