资深大数据开发工程师

  • 全职
  • 上海乂学科技教育有限公司
  • 上海
  • 2018-02-18 14:53:28

25000K-35000k 月薪 本科及以上 学历 5-10年 经验

职位描述

一、岗位职责:

 

1、负责Hadoop集群的架构设计开发、搭建、管理、运维、调优;

 

2、深入理解常用的数据建模理论,可独立把控数据仓库各层级的设计,建设乂学集团数据仓库。负责数据仓库ETL流程的优化及解决ETL相关技术问题;

 

3、负责大数据框架和大数据应用的程序设计、开发和维护,基于大数据对业务提供深入有效的支持,建设各数据应用产品的数据支撑及数据维护;

 

4、负责基于大数据技术的海量数据的采集,自动化分析处理和挖掘工作, 对海量日志进行数据统计与分析,产品效果评估与分析,为产品策略优化迭代提供强有力的数据支持;

 

5、指导并参与核心代码的书写,组织解决项目开发过程中的重大技术问题;

 

职位要求:

1、计算机、数学、统计等相关专业的本科及以上学历,5年以上大数据应用系统的开发和设计经验;精通大数据技术(hadoop、hdfs、hive、spark、pig、nosql、hbase、flume、scribe、ElasticSearch),3年以上基于Hadoop/Hbase/Hive等应用开发经验;

 

2、有数据仓库需求调研和需求分析经验,能根据业务需求设计数据仓库模型,并对数据仓库数据模型进行管理,保证数据质量,3年以上数据仓库开发与ETL开发实施经验;

 

3、技术背景深厚,精通sql开发,有较丰富的Hive sql性能调优经验优先,能开发hive udf者优先;精通Java开发,熟悉分布式计算技术理论,具有架构和设计实践经验,对教育行业主要产品的相关技术有深刻研究和了解;

 

4、熟悉Hadoop底层文件系统熟悉Hadoop分布式计算框架,和Hbase、HIVE等MPP数据平台架构设计能力和数据建模能力,对大规模数据并行计算传输处理等有丰富的经验;

 

5、有机器学习、推荐算法、人工智能、数学建模项目经验者优先;

 

优先考虑条件:

1、极强的带团队,逻辑分析和解决问题能力,做事有章法

2、优秀的组织,交流,和人际交往能力,乐于合作

3、对大数据,人工智能新技术充满激情,学习能力强

4、工作主动负责,能独立承担重要项目,以结果为导向

5、灵活应变,适应快节奏的工作环境,能够随时调整工作重心

 

我们的福利(不限于):

1、基本工资之外,外加绩效工资,福利,奖金,五险一金,多种培训,观摩机会;    

2、免费加班晚餐,咖啡,啤酒畅饮,诱人的零食、饮料任你挑;

3、和全球来自RealizeIt,Knewton, Aleks,SRI的大数据科学家,架构师大牛合作,订定人工智能+教育行业标准;

4、飞速发展的在线教育公司,受到NHK,CNBC媒体关注采访,艾瑞最具成长性PE标的和新东方、好未来、流利说和vipkid一起名列前五,评比新浪网评选的2017中国教育行业十大投融资牛案,人工智能行业权威媒体机器之心的2017年度评选年度30大最佳AI应用案例,在乂学工作,可带来无限广阔的成长空间。


公司信息

上海乂学科技教育有限公司

用最尖端的黑科技技术, 造福全世界每一个孩子的学习

上海 xuzhaohui@classba.cn