对于大数据开发工程师你了解多少?

src=http___i0.hdslb.com_bfs_article_5890122ae920c3946070bb8d2263cb18f8a74de0.jpg


根据企业需求不同,岗位也就不同,下面一起来了解下。


一、大数据开发岗位分类


大数据开发岗位主要有两种:数据仓库开发、大数据平台开发(大数据应用开发)。


1、什么是数据仓库开发?


数据仓库开发就是根据企业的要求搭建一个数据仓库,而这个数据仓库是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程赶紧、监视时间、成本、质量以及控制。


2、什么是大数据平台开发(大数据应用开发)?


大数据平台开发有两个方面,一个是进行大数据平台自身的开发,属于研发级开发,比如大数据平台Hadoop的组件开发HBase、Hive、Avro、Zookeeper等;另一种是在大数据平台下进行应用开发,在大数据平台Hadoop及Spark进行具体的应用开发。


二、大数据开发工程师各岗位的工作职责


1、数据仓库开发工程师


小编从大型互联网企业中挑选出一家数据开发工程师的部分要求。


① 工作职责:


负责人力资源系统核心业务模块数据仓库的构建;


负责数据模型的设计,ETL实施、ETL性能优化、ETL数据监控以及一系列技术问题的解决;


负责构建用户主题、各业务线主题、推荐主题、BI门户系统


负责全产品线数据字典维护,提升数据资产质量。


② 职位要求:


计算机、数学相关专业本科及以上学历,三年以上大数据开发工作经验;


深入理解常用的数据建模理论,可独立把控数据仓库的各层级设计;有数据挖掘,机器学习,推荐相关经验优先;


熟练掌握Hive/SQL,熟悉Spark/Map-Reduce/MPI分布式计算框架,熟悉大数据的离线和实时处理,可以进行海量数据模型的设计、开发;


2、大数据平台开发工程师


① 工作职责:


负责企鹅游戏大数据应用系统的后端开发工作,处理包括高并发场景or复杂业务逻辑下数据平台的开发设计工作


② 工作要求:


本科及以上学历,计算机相关专业,3年及以上相关工作经验,有扎实的计算机理论基础,对数据结构,设计模式有深度的了解;


开发语言golang、php、java不限,至少精通掌握一种; 对一些开发框架的原理&源码都有一定的了解(如laravel)


免责声明:


文章来源网络,内容仅供参考,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若有侵权请联系删除!


推荐

  • QQ空间

  • 新浪微博

  • 人人网

  • 豆瓣

取消