加入我们

大数据处理工程师

北京|技术研发类

职位描述

    1、参与设计、研发大数据处理平台;

    2、帮助平台用户快速构建基于大数据的数据产品和应用,将大数据快速转变成商业价值;

    3、从事大数据的并行计算、实时流计算的研究和开发;

    4、从事大数据数据挖掘、数据分析的研究和开发;

    5、负责数据仓库系统和hadoop集群的审核、部署、发布、监控、维护和优化;

    6、负责大数据系统的性能分析与系统优化,不断提高系统运行效率。


任职要求

    1、大学本科及以上学历,计算机或者相关专业。

    2、熟悉Linux或Unix系统,熟悉网络技术,尤其是TCP/IP协议,2年以上大规模集群的运维经验,熟悉ganglia/salt/puppet等监控和管理工具;

    3、熟悉Hadoop平台及主要子项目,有一年以上Hadoop平台mapreduce的开发经验;

    4、熟悉shell,perl,python,php至少一种,有java,C/C++语言基础更好;

    5、对Hadoop、HBase、Storm、Zookeeper、impala或MPI之一有深入理解并在现实项目中大规模应用;

    6、熟悉MongoDB、Redis、Memcache 其一,对pig,hive,hbase, spooq,flume,scribe有研发经验者优先;

    7、熟悉HDFS、Hbase、Hive的原理、特性和常用配置且有实战开发经验;

    8、具备快速学习掌握新知识的能力,优秀的分析、解决问题能力,具备良好的抽象归纳能力和创新能力;

    9、熟悉Storm、Spark等实时统计技术有相关实战经验者优先。