大数据工程师需要要掌握哪些技能

Question

如题所述

Answer 1

大数据工程师需要具备的能力
1.数学及统计学相关的背景
就我们采访过的BAT三家互联网大公司来说，对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。缺乏理论背景的数据工作者，更容易进入一个技能上的危险区域(Danger Zone)—一堆数字，按照不同的数据模型和算法总能捯饬出一些结果来，但如果你不知道那代表什么，就并不是真正有意义的结果，并且那样的结果还容易误导你。只有具备一定的理论知识，才能理解模型、复用模型甚至创新模型，来解决实际问题。
2.计算机编码能力
实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。因为许多数据的价值来自于挖掘的过程，你必须亲自动手才能发现金子的价值。。
举例来说，现在人们在社交网络上所产生的许多记录都是非结构化的数据，如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就需要大数据工程师亲自挖掘。即使在某些团队中，大数据工程师的职责以商业分析为主，但也要熟悉计算机处理大数据的方式。
3.对特定应用领域或行业的知识
大数据工程师这个角色很重要的一点是，不能脱离市场，因为大数据只有和特定领域的应用结合起来才能产生价值。所以，在某个或多个垂直行业的经历能为应聘者积累对行业的认知，对于之后成为大数据工程师有很大帮助，因此这也是应聘这个岗位时较有说服力的加分项。
他不能只是懂得数据，还要有商业头脑，不论对零售、医药、游戏还是旅游等行业，能就其中某些领域有一定的理解，最好还是与公司的业务方向一致的，过去我们说一些奢侈品店员势利，看人一眼就知道买得起买不起，但这群人恰恰是有敏锐度的，我们认为他们是这个行业的专家。又比如对医疗行业了解的人，他在考虑医疗保险业务时，不仅会和人们医院看病的记录相关，也会考虑饮食数据，这些都是基于对该领域的了解。

Answer 2

大讲台大数据培训为你解答：
1、逻辑分析能力
逻辑分析能力是指正确、合理思考的能力。即对事物进行观察、比较、分析、综合、抽象、概括、判断、推理的能力，采用科学的逻辑方法，准确而有条理地表达自己思维过程的能力。拥有逻辑分析能力的人能迅速定位某个商业问题的关键属性和决定因素。
做大数据工作的人，他得知道什么是相关的，哪个是重要的，使用什么样的数据是最有价值的，如何快速找到每个业务最核心的需求。这个能力对于学习大数据是很大的助力，如果在学习大数据的时候能慢慢注意培养自己的逻辑分析能力，那么对你今后的工作也有很大的帮助。
2、快速学习能力
在大数据工作中，快速学习能力能帮助大数据工程师快速适应不同的项目，并在短时间内成为这个领域的数据专家。毋庸置疑，在大数据的学习中，快速学习能力肯定是很重要的，它能够帮助你快速的适应和理解相关知识，就算你是零基础学习大数据，如果你能找到大数据学习的核心关键点，快速学习，那么攻克大数据指日可待。
3、对数据的兴趣
兴趣是职业生涯选择的重要依据。兴趣是最好的老师，是一种强大的精神力量。兴趣可以使人集中精神去获得你所喜欢的职业知识，启迪智慧并创造性地开展工作。当一个人对某种职业产生兴趣时，他就能充分的调动自己的主动性，积极地去感知和关注该职业的相关知识、动态并积极地思考，大胆地探索；
就能全身心地投入，使情绪高涨，想象力丰富，增强记忆效果，增强克服困难的意志。有喜欢在数据海洋中寻宝的好奇心能够让你对于数据的处理充满热情；解决了一个大数据问题后，你能够充满成就感。所以在你学习大数据之前，我觉得你最应该做的就是培养自己对于数据的兴趣。
4、沟通能力
在大数据工作中，沟通能力能让大数据工作者的工作开展地更顺利，因为大数据工程师的工作主要分为两种方式：由市场部驱动和由数据分析部门驱动，前者需要常常向产品经理了解开发需求，后者则需要找运营部了解数据模型实际转化的情况。

Answer 3

想要学习大数据开发，第一件事并不是要找书籍或者是找视频教程，而是要了解一下大数据行业前景，了解一下成为大数据工程师需要具备什么样的能力，掌握哪些技能我当初学习大数据之前也有过这样的问题，作为一个过来人，今天就跟大家聊下大数据人才应该具备的技能。
首先我们要知道对于大数据开发工程师需要具备的技能，下面我们分别来说明：

用人单位对于大数据开发人才的能力要求有
技能要求：
1.精通JAVA开发语言，同时熟悉Python、Scala开发语言者优先；
2.熟悉Spark或Hadoop生态圈技术，具有源码阅读及二次开发工作经验；精通Hadoop生态及高性能缓存相关的各种工具，有源码开发实战经验者优先；
3.熟练使用SQL，熟悉数据库原理，熟悉至少一种主流关系型数据库；熟悉Linux操作系统，熟练使用常用命令，熟练使用shell脚本；熟悉ETL开发，能熟练至少一种ETL（talend、kettle、ogg等）转化开源工具者优先；
4.具有清晰的系统思维逻辑，对解决行业实际问题有浓厚兴趣，具备良好的沟通协调能力及学习能力。
以上就是想要成为大数据人才需要具备的技能
那么如何具备这些能力，怎么学习了，对于大多数人来说，目前只有通过参加大数据的学习，才能够系统的掌握以上的大数据技能，从而胜任大数据工程师的工作。

Answer 4

大数据Hadoop工程师用人企业普遍要求掌握以下技术：

1、熟悉Linux开发环境，熟悉Shell命令

2、熟悉Java、python、scala语言（至少一种）

3、具备较丰富的基于Hadoop、Map Reduce、Yarn、Storm、Spark、Hive、Hbase、kafka、Flume、HDFS、Spark Streaming等的大数据处理项目经验。

Answer 5

数据分析、数据处理、数据挖掘，