下面是小编为大家整理的最新大数据架构师工作内容(23篇),供大家参考。
在日常的学习、工作、生活中,肯定对各类范文都很熟悉吧。相信许多人会觉得范文很难写?下面我给大家整理了一些优秀范文,希望能够帮助到大家,我们一起来看一看吧。
大数据架构师工作内容篇一
1.负责数据仓库建设,基于数据驱动构建企业级数据模型,根据架构设计进行各层数据模型开发。
2.面向pb级别超大规模数据处理和查询需求,设计适合业务变化的合理的多维数据分析系统架构,满足多样性需求。
3.构建设计良好的数据流、调度系统、查询引擎、监控系统,保证系统稳定高效运行,以实现数据的最大价值。
4.指导团队成员开展数据仓库建设。
5.参与重点项目的评审,参与企业数据管理体系建设。
任职要求:
1.统招本科及以上学历。
2.从事数据仓库领域至少5年以上,熟悉数据仓库模型设计与etl开发经验 ,掌握kimball的维度建模设计方法,具备海量数据加工处理(etl)相关经验 。
3.具有一定数据模型和数据架构基础,熟悉hadoop\hive和常用数据库。
4. 精通sql,有一定的sql性能调优经验,熟悉hive sql的开发。
5.具有管理团队开发经验,具备良好的组织能力、协调能力及项目管理能力。
6.具有较好的文字功底及语言表达能力,能够快速、准确地理解需求。
7.具有专研、快速学习和创新精神,具备独立分析问题和解决问题的能力。
8.具有责任心,时间观念强,工作独立性强,有良好的团队合作精神。
9.全日制普通本科毕业。
大数据架构师工作内容篇二
职责:
1. 规划设计大数据平台整体架构,规划各种组件,并且指导技术团队完成相关系统验证、安装、部署、配置;
2. 负责制定大数据平台技术规范和接口规范,指导研发团队按照规范进行系统开发;
3. 配合商务人员完成售前技术支持工作;
4. 完成其他与数据应用有关的技术工作;
任职要求:
1. 计算机相关专业本科学历,5年以上工作经验;
2. 对大数据技术栈有非常深刻的了解;具备架构设计的实际经验;
3. 对信息安全架构设计及实施有一定的经验;
4. 熟悉linux、windows等操作系统的安装配置;
5. 熟悉互联网应用的安装配置;熟悉常见大数据技术栈组件的安装配置;熟悉visio等绘图工具的使用;
6. 有卫生信息化建设经验者优先;有容器安装部署经验者优先。
大数据架构师工作内容篇三
职责:
1、负责大数据平台架构的规划与设计;
2、负责大数据平台技术框架的选型与技术难点攻关;
3、参与企业级大数据产品和应用规划;
4、研究跟进大数据架构领域新技术并分享;
5、大数据处理和分析应用平台的设计指导。
任职资格:
1、 具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
2、熟悉bi平台架构及相关项目标准,大数据解决方案包括hadoop、spark、storm、机器学习等大数据平台解决方案;
3、熟悉mysql/postgresql/oracle/mongodb/redis等主流数据数据库;
4、 精通linux/unix环境,精通j java、scala、python、r中的一种或多种语言;
5、 具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战;
6、大专及以上学历,3年及以上工作经验。
大数据架构师工作内容篇四
职责:
1.能够带领技术人员基于hadoop平台进行海量数据应用系统开发;
2.负责结构化和非结构化数据的解析和清洗,海量数据查询和报表展现;
3.负责超大规模数据平台的搭建、维护和优化;
4.负责大数据采集、存储框架研究,参与在线或离线数据存储模型设计;
5.负责大数据平台新技术的开发使用和性能优化,测试。
任职资格:
1.计算机相关专业本科及以上学历;
2. 熟悉hadoop相关各种开源项目,比如hdfs/hive/hbase等有实际应用。(5年以上开发经验者优先);
3.两年以上熟练编写mapreduce代码经验,有三年以上网络日志分析、etl经验。熟悉日志分析框架chukwa,flume,scribe者优先;
4.两年以上海量数据存储的安装部署、优化、二次开发经验,对大规模数据存储、传输、处理等有丰富的经验;
5.在数据挖掘、数据密集型处理、分布式计算、网格计算领域有深入理论基础;
6.具有较强的文档撰写能力,较强的团队精神和合作精神,对工作有热情,能承受压力。
大数据架构师工作内容篇五
职责
1、负责企业级大数据平台、数据云服务的设计与开发;
2、基于大数据生态圈,支持智慧交通等大数据场景应用实现;
3、负责公司大数据产品的设计、封装与落地;
4、负责学习大数据相关算法研究、实现与应用
任职要求
1、统招本科及以上学历;2年以上智慧城市建设或交通行业信息化相关工作经验,3年以上大数据架构设计、开发经验;
2、精通大数据生态圈的技术,包括但不限于mapreduce、spark、hadoop、kafka、mongodb、redis、flume、storm、hbase、hive,具备源码级问题解决和集群优化改造能力;
3、熟悉常用编程语言,包括java、python、scala等;
4、具有很强的技术研发和创新能力,能有效把握技术发展方向,有较强的执行能力、学习能力、沟通能力、适应能力,责任心强;
大数据架构师工作内容篇六
职责:
1、负责dmp技术架构设计与构建,根据业务规划及技术规划制定应用架构方案;
2、负责设计构建dmp数据采集、存储及分析框架,设计数据处理的技术流程和规范;
3、负责核心功能的架构与代码模板编写,开发与维护系统公用核心模块;
4、负责基于大数据技术的海量数据的自动化分析处理和统计工作。
岗位要求:
1、计算机或相关专业本科以上学历,三年以上的开发经验,二年以上大数据相关软件架构的实际经验;
2、精通大数据处理技术,熟悉hadoop/storm技术体系,有hadoop、hive、hbase项目经验;
3、具有较强的架构能力,具有分布式计算、实时计算、数据仓库、数据挖掘系统的架构经历优先;
4、对数据敏感,洞察力强,了解国内外广告发展趋势;
5.、擅长系统分析与设计,精通常用的设计模式,擅长性能调优;
6、熟悉dmp/rtb技术原理,了解用户的行为分析及建模;有rtb/dsp/ssp/exchange/dmp等广告行业从业经历。
大数据架构师工作内容篇七
职责:
1、负责大数据项目技术架构评估与设计;
2、负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;
3、负责对使用关键技术的预研和选型,完成poc;
4、指导工程师完成开发工作,并能分享技术经验。
任职要求:
1、3年以上相关工作经验,其中具有1年以上架构设计经验
2、熟悉商业智能系统相关技术,如 etl、数据仓库、olap开发;
3、精通设计模式,熟悉面向服务架构(soa)以及其它常用软件架构思想,有soa方案设计、开发实施的实际经验,要具备实际的服务规划、服务粒度划分经验;并且要善于设计可重用组件和可定制化产品。
4、相关技术栈:java /scala/flume/hive/kafka/hbase/ spark/storm/redis;
5、有扎实的计算机基础,熟悉java等编程语言;
大数据架构师工作内容篇八
职责:
负责大数据平台架构的规划和设计,主导系统的架构设计和核心模块开发,确保项目质量和关键性能指标达成;
负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发,保证大数据产品的上线运行;
负责深入理解业务需求,对业务建模,设计系统架构,满足业务需求;
负责协助策略和算法工作,保障数据挖掘建模和工程化;
负责根据业务需求整合优化数据架构,保证产品的可靠性、稳定性;
负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;
负责研发技术发展方向,新技术领域的探索,将新技术应用到公司大数据平台,提升公司效能
任职要求:
本科及以上学历,拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;
精通hadoop,熟悉大数据生态技术,如storm、spark、scala、flume、kafka、zookeeper、yarn、sqoop、cdh、solr 、kylin、impala、hive、hbase、kerberos、sentry等,有大规模集群架构、开发及运维经验;
熟练掌握java/scala语言,实现面向对象开发思想ooa,ood,oop;
熟悉linux操作系统,熟练掌握脚本言语shell/perl/python等编码语言;
熟练掌握数据仓库设计,开发工作。能够根据业务设计并开发数据仓。
具备源码级问题解决和集群优化改造能力者优先;
能快速的学习新的开源框架和知识体系,并应用到现有架构体系中;
逻辑清晰,快速的学习能力,良好的沟通能力、团队协调能力。
具备良好的团队合作精神,较强的沟通交流能力,具备良好的技术领导能力;
具备良好的文档撰写能力和技术团队管理能力
大数据架构师工作内容篇九
职责:
1、负责大数据项目平台架构的评估、规划和设计
2、开发大数据平台的核心模块代码,负责大数据平台的搭建,完成系统调试、集成与实施,保证大数据产品的上线运行
3、根据业务需求整合优化数据架构,保证产品的可靠性、稳定性
4、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现
5、深入研究大数据相关技术和产品,跟进业界先进技术;
6、根据项目要求编写相关技术文档;
7、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;
8、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;
9. 负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;
10. 负责对使用关键技术的预研和选型,完成 poc ;
11. 指导工程师完成开发工作,并能分享技术经验。
任职资格:
1、精通linux操作系统,熟练使用java;
2、3年以上大数据项目实战经验,两个项目的架构设计经验,熟悉hadoop、hbase、storm、spark、pig等开源框架,并熟悉其工作原理;
3、有hadoop、spark、hbase平台性能调优经验;
4、熟悉其它分布式存储相关技术,包括hdfs,hive、redis、mongodb、 flume、kafaka、sqoop、zookeeper、elasticsearch等;
5、熟悉java开发常用框架.如spring、mybatis等;
6、熟悉关系型数据库如oracle及数据库编程。
7、能够根据项目情况安排人力、分配任务,具有较强的团队管理能力。
8、硕士以上学历,20xx年以上的工作经验。
大数据架构师工作内容篇十
职责:
1、 基于公司大数据基础和数据资产积累,负责大数据应用整体技术架构的设计、优化,建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。
2、 负责制定大数据应用系统的数据安全管控体系和数据使用规范。
3、 作为大数据技术方案到产品实现的技术负责人,负责关键技术点攻坚工作,负责内部技术推广、培训及知识转移工作。
4、 负责大数据系统研发项目任务规划、整体进度、风险把控,有效协同团队成员并组织跨团队技术协作,保证项目质量与进度。
5、 负责提升产品技术团队的技术影响力,针对新人、普通开发人员进行有效辅导,帮助其快速成长。
任职资格:
1、 计算机、数学或相关专业本科以上学历,5-20xx年工作经验,具有大型系统的技术架构\应用架构\数据架构相关的实践工作经验。
2、 有分布式系统分析及架构设计经验,熟悉基于计算集群的软件系统架构和实施经验。
3、 掌握hadoop/spark/storm生态圈的主流技术及产品,深入了解hadoop/spark/storm生态圈产品的工作原理及应用场景。
4、 掌握mysql/oracle等常用关系型数据库,能够对sql进行优化。
5、 熟悉分布式系统基础设施中常用的技术,如缓存(varnish、memcache、redis)、消息中间件(rabbit mq、active mq、kafka、nsq)等;有实践经验者优先。
6、 熟悉linux,java基础扎实,至少3-5年以上java应用开发经验,熟悉常用的设计模式和开源框架。
大数据架构师工作内容篇十一
职责:
(1) 负责公司大数据平台搭建,相关的设计和技术开发工作,负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等的设计、研发以及维护、优化工作;
(2) 通过数据分析技术,挖掘有利于营销中各业务场景的变量或规则类标签,以提升模型效果,为文旅、教育业务提供数学模型理论及编程支撑;
(3) 对接沟通业务系统研发团队和产品部门,提供数据驱动方面的专业咨询方案,并对业务的大数据应用场景提出建设性意见;
(4) 配合部门领导进行项目需求分析、设计开发工作。
任职要求:
(1) 计算机、统计学,数学等相关专业本科以上学历,5年以上大数据或文旅、教育数据产品设计开发经验,高效高质量产出需求和技术文档;
(2) 精通hadoop,熟悉大数据生态技术,如storm、spark、scala、flume、kafka、zookeeper、hive、hbase、kerberos等,有大规模集群架构、开发及运维经验;熟悉hdfs/mapreduce等;
(3) 熟悉java,能够独立应用python、r、sas或类似分析工具进行数据分析;
(4) 熟悉大数据挖掘、可视化分析,各种bi算法和产品等,在计算广告、搜索引擎、推荐系统、用户画像等有一个或多个算法领域的研发经验,能够运用数据作为产品解决业务方运营及决策问题;
(5) 有互联网行业工作经验者优先,有海量数据的机器学习算法实践经验优先;
(6) 工作认真、负责,有良好的团队合作精神,良好的分析能力、沟通技巧。
大数据架构师工作内容篇十二
职责:
1、负责企业大数据平台的基础建设、管理及制定拓展规划;
2、负责大数据平台相关自动化服务工具的设计、开发;
3、参与hadoop、hbase、spark等核心平台组件的开发、优化;
4、对平台特殊场景化的数据应用制定相关实践方案;
5、大数据团队的搭建。
任职资格:
1、统招本科以上学历,计算机等相关专业,5年以上工作经验;
2、具有hadoop等大规模集群管理经验、海量(pb)数据处理经验;
3、精通hadoop、hive、hbase等离线平台相关组件的原理机制;
4、了解或熟悉storm/spark/redis/kafka/mongodb等分布式系统;
5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;
6、熟悉爬虫常用框架以及反爬技术;
7、具有良好的沟通能力、分析问题与攻关问题的能力;
8、有责任心,工作积极,对新领域新技术有热情。
大数据架构师工作内容篇十三
职责:
负责大数据平台的规划和搭建、完成大数据平台的日常运营工作,为数据分析和展现提供支持;
对系统框架相关技术和业务进行培训,并负责核心代码编写,指导团队开发及解决出现的系统问题;
参与基于大数据平台的创新业务场景进行数据产品的架构设计,负责数据产品的研发交付;
负责处理大数据平台的疑难问题,为数据团队提供可靠的技术支持;
负责数据质量、稳定性等数据管理,数据内部共享融通的数据平台,让数据标准更规范、数据获取更高效;
及时跟进大数据领域新技术并分享,提升团队技术能力。
任职要求:
本科或以上学历,5年以上数据系统建设经验,3年以上大数据架构设计经验;
精通 java,python,scala 等一种大数据开发语言,熟悉hadoop生态圈,包括但不限于hdfs,hive,spark, 有丰富的大数据项目的实践经验;
具备创新精神,条理清晰,沟通表达和逻辑思维能力强;
熟悉数据仓库的设计和开发,对数据架构有深入的了解和具备相关的项目实践经验优先;
对sql on hadoop 的开源查询引擎(如presto、 apache drill ) 原理有深入研究优先;
有敏捷大数据和数据可视化实践经验优先。
大数据架构师工作内容篇十四
职责:
1、负责公司的大数据处理框架的研发设计工作,梳理可实现方案和技术规范;
2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;
3、负责业务平台数据统计分析模块的设计与规划;
4、负责公司产品研发过程中的数据及存储设计;
5、带领和培养团队完成组织分解的目标;
任职要求:
1、统招本科及以上学历,计算机、软件工程相关专业,至少8年以上工作经验,5年以上大数据开发经验;
2、熟悉java、hadoop、hdfs、hive、hbase、spark、storm、flume等相关技术的基础架构
3、熟悉数据仓库,数据算法,分布式计算技术理论,具有大数据整体系统架构设计经验;
4、熟悉linux系统,熟练使用shell/perl/python脚本处理问题;
5、对深度学习框架(tensorflow)和机器学习(svm 随机深林贝叶斯等)有一定了解的优先;
6、能够组织项目开发组协同工作,包括团队沟通、计划、开发环境管理等
大数据架构师工作内容篇十五
职责:
根据大数据业务需求,设计大数据方案及架构,实现相关功能;
搭建和维护大数据集群,保证集群规模持续、稳定、高效平稳运行;
负责大数据业务的设计和指导具体开发工作;
负责公司产品研发过程中的数据及存储设计;
针对数据分析工作,能够完成和指导负责业务数据建模。
职位要求:
计算机、自动化或相关专业(如统计学、数学)本科以上学历,3年以上大数据处理相关工作经验;
精通大数据主流框架(如 hadoop、hive、spark等);
熟悉 mysql、nosql(mongodb、redis)等主流数据库,以及rabbit mq等队列技术;
熟悉hadoop/spark生态的原理、特性且有实战开发经验;
熟悉常用的数据挖掘算法优先.
大数据架构师工作内容篇十六
职责:
1、负责公司大数据平台架构的技术选型和技术难点攻关工作;
2、依据行业数据现状和客户需求,完成行业大数据的特定技术方案设计与撰写;
3、负责研究跟进大数据架构领域新兴技术并在公司内部进行分享;
4、参与公司大数据项目的技术交流、解决方案定制以及项目的招投标工作;
5、参与公司大数据项目前期的架构设计工作;
任职要求:
1、计算机及相关专业本科以上,5年以上数据类项目(数据仓库、商务智能)实施经验,至少2年以上大数据架构设计和开发经验,至少主导过一个大数据平台项目架构设计;
2、精通大数据生态圈的技术,包括但不限于mapreduce、spark、hadoop、kafka、mongodb、redis、flume、storm、hbase、hive,具备数据统计查询性能优化能力。熟悉星环大数据产品线及有过产品项目实施经验者优先;
3、优秀的方案撰写能力,思路清晰,逻辑思维强,能够根据业务需求设计合理的解决方案;
4、精通oracle、db2、mysql等主流关系型数据库,熟悉数据仓库建设思路和数据分层架构思想;
5. 熟练掌握java、r、python等1-2门数据挖掘开发语言;
6. 熟悉云服务平台及微服务相关架构思想和技术路线,熟悉阿里云或腾讯云产品者优先;
7、有烟草或制造行业大数据解决方案售前经验者优先;
8、能适应售前支持和项目实施需要的短期出差;
大数据架构师工作内容篇十七
职责:
1.负责整个大数据平台架构的设计和构建;
2.负责构建大数据平台的数据交换、任务调度等通用平台;
3.制定开发、测试、实施、维护的标准和规范,指导和培训工程师,不断提升团队能力。
4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署,负责编写核心部分代码。
5.持续挑战新的技术方向,攻克大数据量、高并发、高可用、可扩展等技术难点。
任职要求:
1.3年以上大数据架构经验,丰富的数据仓库、数据挖掘、机器学习项目经验
2.大规模数据处理的架构和设计实战经验
3.精通spark、mr,熟练hdfs、yarn、hbase、hive、mongodb,熟悉kafka、redis、storm、mahout、flume、elasticsearch、graphdb(neo4j或其他)等,并具有丰富的大型数据平台工程经验
4.深刻理解大数据处理(流计算,分布式计算,分布式文件系统,分布式存储等)相关技术和实现方法
5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法,熟练linux/unix平台上的开发环境
6.本科或以上学历,计算机软件或相关专业,丰富的java开发经验和互联网背景优先。
7.具有比较强的问题分析和处理能力,有比较优秀的动手能力,热衷技术,精益求精
大数据架构师工作内容篇十八
职责:
1、大数据平台架构规划与设计;
2、负责大数据平台技术框架的选型与技术难点攻关;
3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作,根据系统的业务需求,能够指导开发团队完成实施工作;
4、负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为相关的业务提供大数据底层平台的支持和保证;
5、培养和建立大数据团队,对团队进行技术指导。
任职要求:
1、计算机相关专业的背景专业一类院校毕业本科、硕士学位,8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);
2、精通java,j2ee 相关技术,精通常见开源框架的架构,精通关系数据库系统(oracle mysql等)和nosql数据存储系统的原理和架构;
3、精通sql和mapreduce、spark处理方法;
4、精通大数据系统架构,熟悉业界数据仓库建模方法及新的建模方法的发展,有dw,bi架构体系的专项建设经验;
5、对大数据体系有深入认识,熟悉kafka、hadoop、hive、hbase、spark、storm、greenplum、es、redis等大数据技术,并能设计相关数据模型;
6、很强的学习、分析和解决问题能力,可以迅速掌握业务逻辑并转化为技术方案,能独立撰写项目解决方案、项目技术文档;
7、具有较强的内外沟通能力,良好的团队意识和协作精神;
8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;
9、 具有能源电力行业工作经验者优先。
大数据架构师工作内容篇十九
职责:
1、负责规划大数据平台及应用产品的需求和技术方案设计;
2、负责数据对接和对外服务设计、开发和维护,并能保证质量和性能;
3、负责基于大数据平台的应用设计、开发和维护;
4、能从系统全局和各子系统的角度思考可能存在的问题,并提出改进方案建议;
任职要求:
1、大学本科6年以上工作经验,计算机相关专业。
2、至少4年以上的java开发经验,3年以上大数据应用系统的开发和设计经验。
3、熟悉hadoop生态圈技术体系, 对离线计算、内存计算和流式计算均有深刻理解, 如hadoop、storm、spark三个中的任意二个, 能进行平台和组件优化。
4、精通hive、hbase仓库设计,深刻理解mr运行原理和机制,能进行以提供高任务执行效率的优化。
5、精通java开发,熟悉jvm调优, 对gc有深刻理解。
6、熟悉linux、shell、kafka、oracle、mysql、redis等相关技术, 能进行hbase可靠性诊断和维护。
7、快速研究和学习技术能力。
大数据架构师工作内容篇二十
职责:
1. 负责设计企业级大数据平台的整体架构,从技术层面制定清晰的大数据产品与系统技术架构,并负责实现关键技术和产品。
2. 负责设计具有创新价值的大数据底层平台、大数据上层应用系统等,带领团队完成有质变的技术解决方案。
3. 负责组织同事研究行内最前沿的技术发展方向,突破现有的技术难题。
4. 负责研究院对外项目合作协调与支持,编写项目建设方案及后期项目建设支持。
任职要求:
1. 硕士及以上学历,计算机相关专业。
2. java基础扎实,不少于8年的一线开发经验,精通spring boot/mybatis/restful api的开发与管理. 熟悉reactjs/angular/vue之一前端开发技术,熟悉maven或ant.,熟悉python语言开发加分。
3. 不少于4年大数据的直接研发经验,精通hadoop/spark系统,有hands-on的架构设计、性能调优、开发经验。有mongodb、kafka、hbase/cassandra/storm/hive 等系统的开发经验。
4. 掌握分布式系统原理,对分布式存储、流式计算、消息队列中的一项或多项有深入的理解和认识。
5. 熟悉分布式系统的监控、运维、故障恢复,高可用原理和设计理念。
6. 算法基础扎实,熟悉常见的数据结构,掌握大规模高并发访问、大数据开发等处理经验;熟练的linux系统, 网络, 内存和存储等方面知识。
7. 必须要有千万级别的项目管理经验,包括但不限于前期需求沟通,建设方案编写,中期项目实施,进度汇报,后期项目维护。
大数据架构师工作内容篇二十一
职责:
1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;
2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;
3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作
5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;
6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。
任职要求:
1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉bi平台、大数据系统相关技术架构及技术标准;
2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;
3.熟悉大数据相关技术:hadoop、hive、hbase、storm、flink、spark、kafka、rabbitmq;
4.熟悉制造企业信息化系统及相关数据库技术;
5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;
6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;
7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。
大数据架构师工作内容篇二十二
职责
1、负责大数据架构设计,包括定义数据的存储、集成(etl)、应用,支撑业务运营和数据分析类需求实现;
2、制定数据治理领域的数据体系化管理措施,包括元数据设计、数据标准、数据质量、数据处理、数据安全等工作,确保数据可信与安全;
3、基于行业数据积累,满足业务的数据挖掘需求,实现从数据到资产的转变,根据目标行业建立具有前瞻性的数据模型;
4、对各产品的数据安全负责,主导制定和实施数据库系统安全策略,保证整体方案数据安全;
岗位要求
业务技能要求:
1、深入理解云化、数据仓库,在参与过的系统设计中,必须涉及这两项关键技术;
n2、精通或者熟悉hadoop体系架构,以及hdfs/hbase/hive/mapreduce/spark等技术,了解体系架构各组件的优缺点,有直接的产品设计与开发、部署、调优的经验;
3、精通或熟悉常见rdbms(oracle / postgresql / mysql)、nosql(redis / memcached/ mongodb)、全文搜索引擎(solr/elasticsearch)的使用及开发,了解各数据库优缺点, 熟悉与架构设计相关的数据存储、性能调优等相关领域知识,有相关项目经验尤佳;
4、熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案,具有数据分析或数据挖掘相关经验者优先;
n5、熟悉数据治理相关流程,包括数据接入、数据处理、数据治理、数据组织、数据服务等。
专业知识要求:
1、具备数据治理的知识与体系方案,包含政策、组织、角色、流程、规范等,以及规划相应的支撑方案。了解业界的数据管理方法论;
2、具备数据用例设计和开发能力。能够基于业务相关数据进行业务需求分析和痛点识别,将业务需求转化为数据的需求,完成数据用例的设计和开发;
3、精通海量数据(日增量百亿)级别数据仓库、数据集市的构建流程。熟悉公安、政务、工业、交通、医疗等多行业业务者优先。
大数据架构师工作内容篇二十三
职责:
1. 负责大数据平台的基础技术规划,编制相关规范文档。
2. 负责大数据平台的数据采集,处理,存储以及挖掘分析的架构实现。
3. 负责大数据平台的实际规划建设,包括环境和框架的规划搭建以及部分核心编码工作。
4. 负责大数据相关技术发展方向的预研。
5. 参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目。
6. 制定大数据平台中数据质量,业务质量监控及管理办法。
岗位要求:
1. 全日制本科及以上学历,5年以上工作经验,4年及以上大数据架构设计经验,熟悉大数据解决方案,包括hadoop平台、spark、storm、机器学习、深度学习等大数据解决方案。
2. 深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。
3. 精通大型数据库oracle、sqlserver等的开发。
4. 精通java,python中的一种或多种语言。
5. 熟悉容器、虚拟化、微服务框架等相关技术。
6. 对数据敏感,有严谨的工作思路,良好的沟通能力和团队合作精神。
7. 熟悉r,python,sas、spss等数据挖掘经验者优先。
8. 高宽展性,高性能,和分布式系统的实践及运维经验者优先。
9. 有大型数据仓库实施、大数据平台数据开发经验,熟悉运营商业务者优先。
推荐访问:内容 数据 架构师 最新大数据架构师工作内容(23篇) 最新大数据架构师工作内容(23篇) 大数据架构师岗位职责