对于大数据开发工程师你了解多少?
根据企业需求不同,岗位也就不同,下面一起来了解下。
一、大数据开发岗位分类
大数据开发岗位主要有两种:数据仓库开发、大数据平台开发(大数据应用开发)。
1、什么是数据仓库开发?
数据仓库开发就是根据企业的要求搭建一个数据仓库,而这个数据仓库是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程赶紧、监视时间、成本、质量以及控制。
2、什么是大数据平台开发(大数据应用开发)?
大数据平台开发有两个方面,一个是进行大数据平台自身的开发,属于研发级开发,比如大数据平台Hadoop的组件开发HBase、Hive、Avro、Zookeeper等;另一种是在大数据平台下进行应用开发,在大数据平台Hadoop及Spark进行具体的应用开发。
二、大数据开发工程师各岗位的工作职责
1、数据仓库开发工程师
小编从大型互联网企业中挑选出一家数据开发工程师的部分要求。
① 工作职责:
负责人力资源系统核心业务模块数据仓库的构建;
负责数据模型的设计,ETL实施、ETL性能优化、ETL数据监控以及一系列技术问题的解决;
负责构建用户主题、各业务线主题、推荐主题、BI门户系统
负责全产品线数据字典维护,提升数据资产质量。
② 职位要求:
计算机、数学相关专业本科及以上学历,三年以上大数据开发工作经验;
深入理解常用的数据建模理论,可独立把控数据仓库的各层级设计;有数据挖掘,机器学习,推荐相关经验优先;
熟练掌握Hive/SQL,熟悉Spark/Map-Reduce/MPI分布式计算框架,熟悉大数据的离线和实时处理,可以进行海量数据模型的设计、开发;
2、大数据平台开发工程师
① 工作职责:
负责企鹅游戏大数据应用系统的后端开发工作,处理包括高并发场景or复杂业务逻辑下数据平台的开发设计工作
② 工作要求:
本科及以上学历,计算机相关专业,3年及以上相关工作经验,有扎实的计算机理论基础,对数据结构,设计模式有深度的了解;
开发语言golang、php、java不限,至少精通掌握一种; 对一些开发框架的原理&源码都有一定的了解(如laravel)
免责声明:
文章来源网络,内容仅供参考,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若有侵权请联系删除!
推荐
-
-
QQ空间
-
新浪微博
-
人人网
-
豆瓣