大數據是眼下非常時髦的技術名詞，與此同時自然也催生出了一些與大數據開發處理相關的職業，通過對數據的挖掘分析來影響企業的商業決策。在國內，大數據的應用才剛剛萌芽，人才市場還不那么成熟！而互聯網的高速發展，也讓更多的大中型企業越來越需要大數據開發工程師?。╳ww。ktbdqn。com）

每家公司對大數據工作的要求不盡相同：有的強調數據庫編程、有的**應用數學和統計學知識、有的則要求有咨詢公司或投行相關的經驗、有些是希望能找到懂得產品和市場的應用型人才。正因為如此，很多公司會針對自己的業務類型和團隊分工，給這群與大數據打交道的人一些新的頭銜和定義：數據挖掘工程師、大數據專家、數據研究員、用戶分析專家等都是經常在國內公司里出現的Title，我們將其統稱為“大數據工程師”。

市場對大數據開發工程師的需求這么大，那對于想從事這一行業的朋友來講，如何成為一名大數據開發工程師呢？

首先，我們來了解一下，成為一名大數據開發工程師需要學習哪些東西？

1、基礎知識：java+linux

學習大數據，只需要學習Java的標準版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技術在大數據技術里用到的并不多，只需要了解就可以了，當然Java怎么連接數據庫還是要知道的，像JDBC一定要掌握一下，有同學說Hibernate或Mybites也能連接數據庫啊，為什么不學習一下，我這里不是說學這些不好，而是說學這些可能會用你很多時間，到最后工作中也不常用，我還沒看到誰做大數據處理用到這兩個東西的，當然你的精力很充足的話，可以學學Hibernate或Mybites的原理，不要只學API，這樣可以增加你對Java操作數據庫的理解，因為這兩個技術的核心就是Java的反射加上JDBC的各種使用。

Linux：因為大數據相關軟件都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟件的運行環境和網絡環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以后新出的大數據技術學習起來更快。

2、大數據技術：Hadoop－Hive－Oozie－Web－Flume－Python－Hbase－Kafka－Scala－Spark

Hadoop：這是現在流行的大數據處理平臺幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop里面包括幾個組件HDFS、MapReduce和YARN，HDFS是存儲數據的地方就像我們電腦的硬盤一樣文件都存儲在這個上面，MapReduce是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。YARN是體現Hadoop平臺概念的重要組件有了它大數據生態體系的其它軟件就能在hadoop上運行了，這樣就能更好的利用HDFS大存儲的優勢和節省更多的資源比如我們就不用再單獨建一個spark的集群了，讓它直接跑在現有的hadoop yarn上面就可以了。其實把Hadoop的這些組件學明白你就能做大數據的處理了！

以上這些所需要學習的內容，如果是通過自學的方式去達成，一般人是**不行的。只有通過專業的大數據開發培訓學校，你才能夠在短時間內成功。如果你也想成為一名受人尊重的大數據開發工程師，不妨來北大青鳥長沙科泰教育實地考察一下吧。