我們的數(shù)據(jù)來自各個方面，在面對龐大而復雜的大數(shù)據(jù)，選擇一個合適的處理工具顯得很有必要，一個好的工具不僅可以使我們的工作事半功倍，也可以讓我們在競爭日益激烈的云計算時代，挖掘大數(shù)據(jù)價值，及時調(diào)整戰(zhàn)略方向。
    大數(shù)據(jù)是一個含義廣泛的術(shù)語，是指數(shù)據(jù)集，如此龐大而復雜的，他們需要專門設(shè)計的硬件和軟件工具進行處理。該數(shù)據(jù)集通常是萬億或EB的大小。大數(shù)據(jù)產(chǎn)生的其他例子包括購買交易記錄、網(wǎng)絡(luò)日志、病歷、事監(jiān)控、視頻和圖像檔案、及大型電子商務。大數(shù)據(jù)分析是在研究大量的數(shù)據(jù)的過程中尋找模式，相關(guān)性和其他有用的信息，可以幫助企業(yè)更好地適應變化，并做出更明智的決策。
一、Hadoop
Hadoop 是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數(shù)據(jù)。此外，Hadoop 依賴于社區(qū)服務器，因此它的成本比較低，任何人都可以使用。
二、Storm
Storm是自由的開源軟件，一個分布式的、容錯的實時計算系統(tǒng)。Storm可以非常可靠的處理龐大的數(shù)據(jù)流，用于處理Hadoop的批量數(shù)據(jù)。Storm很簡單，支持許多種編程語言，使用起來非常有趣。Storm有許多應用領(lǐng)域：實時分析、在線機器學習、不停頓的計算、分布式ETL即數(shù)據(jù)抽取、轉(zhuǎn)換和加載等。Storm的處理速度驚人：經(jīng)測 試，每個節(jié)點每秒鐘可以處理100萬個數(shù)據(jù)元組。Storm是可擴展、容錯，很容易設(shè)置和操作。
三、Apache Drill
為了幫助企業(yè)用戶尋找更為有效、加快Hadoop數(shù)據(jù)查詢的方法，Apache軟件基金會近日發(fā)起了一項名為“Drill”的開源項目。
通過開發(fā)“Drill”Apache開源項目，組織機構(gòu)將有望建立Drill所屬的API接口和靈活強大的體系架構(gòu)，從而幫助支持廣泛的數(shù)據(jù)源、數(shù)據(jù)格式和查詢語言。
四、RapidMiner
RapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，在一個非常大的程度上有著先進技術(shù)。它數(shù)據(jù)挖掘任務涉及范圍廣泛，包括各種數(shù)據(jù)藝術(shù)，能簡化數(shù)據(jù)挖掘過程的設(shè)計和評價。
五、Pentaho BI
Pentaho BI?平臺不同于傳統(tǒng)的BI 產(chǎn)品，它是一個以流程為中心的，面向解決方案的框架。其目的在于將一系列企業(yè)級BI產(chǎn)品、開源軟件、API等等組件集成起來，方便商務智能應用的開發(fā)。
Pentaho BI平臺構(gòu)建于服務器，引擎和組件的基礎(chǔ)之上。這些提供了系統(tǒng)的J2EE 服務器，安全，工作流，規(guī)則引擎，圖表，協(xié)作，內(nèi)容管理，數(shù)據(jù)集成，分析和建模功能。這些組件的大部分是基于標準的，可使用其他產(chǎn)品替換之。


上海西線學院官/

高薪等你來拿，快來報名吧！

西線學院是國內(nèi)數(shù)據(jù)分析師培訓教育機構(gòu)領(lǐng)軍品牌，致力于互聯(lián)網(wǎng)數(shù)據(jù)分析師培訓，大數(shù)據(jù)培訓實戰(zhàn)型人才孵化與培養(yǎng)，是國內(nèi)成員之一互聯(lián)網(wǎng)數(shù)據(jù)分析EDA和N+N實訓模式的實踐者,數(shù)據(jù)分析師培訓權(quán)威機構(gòu)。