【智匯工業(yè)編者語】什么是大數(shù)據(jù)？你對(duì)大數(shù)據(jù)了解多少呢？

定義大數(shù)據(jù)

一般而言，大數(shù)據(jù)是指容量龐大的數(shù)據(jù)集，大到傳統(tǒng)的數(shù)據(jù)處理軟件產(chǎn)品無法在合理的時(shí)間內(nèi)捕獲、管理和處理數(shù)據(jù)。

這些大數(shù)據(jù)集可以包括結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，人們可以從每個(gè)數(shù)據(jù)挖掘到洞察。

多大的數(shù)據(jù)才算得上“大”尚無定論，但它通常可能是幾個(gè)拍字節(jié)（petabyte），并且對(duì)于艾字節(jié)（exabyte）范圍中的最大項(xiàng)目也是如此。

通常，大數(shù)據(jù)的特點(diǎn)是三個(gè)V：

·極大的數(shù)據(jù)量

·各種類型的數(shù)據(jù)

·數(shù)據(jù)得到處理和分析的速度

構(gòu)成大數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)可以來自網(wǎng)站、社交媒體、臺(tái)式機(jī)和移動(dòng)應(yīng)用、科學(xué)實(shí)驗(yàn)以及物聯(lián)網(wǎng)（IoT）中日益增多的傳感器和其他設(shè)備。

大數(shù)據(jù)的概念帶有一組相關(guān)組件，這些組件使組織可以使數(shù)據(jù)得到實(shí)際應(yīng)用并解決一些業(yè)務(wù)問題。這包括用來支持大數(shù)據(jù)所需的IT基礎(chǔ)設(shè)施、應(yīng)用于數(shù)據(jù)的分析、大數(shù)據(jù)項(xiàng)目所需的技術(shù)、一系列有關(guān)的技能、以及對(duì)大數(shù)據(jù)很重要的實(shí)際用例。

大數(shù)據(jù)和分析

真正能從組織所收集的所有大數(shù)據(jù)中實(shí)現(xiàn)價(jià)值的東西是應(yīng)用于數(shù)據(jù)的分析。沒有分析的話，這只是一大堆商業(yè)用途十分有限的數(shù)據(jù)。

企業(yè)通過將分析應(yīng)用于大數(shù)據(jù)就可以看到銷售額的增長、客戶服務(wù)的改善、效率的提高以及競爭力得到全面提升等優(yōu)勢。

數(shù)據(jù)分析包括檢查數(shù)據(jù)集以獲得洞察或得出關(guān)于它們包含的內(nèi)容的結(jié)論，例如關(guān)于未來活動(dòng)的趨勢和預(yù)測。

組織通過數(shù)據(jù)分析可以做出更明智的業(yè)務(wù)決策，例如何時(shí)何地進(jìn)行營銷活動(dòng)或引入新產(chǎn)品或服務(wù)。

分析可以指基本的商業(yè)智能應(yīng)用程序或更高級(jí)的預(yù)測分析，例如科學(xué)機(jī)構(gòu)所使用的分析。最先進(jìn)的數(shù)據(jù)分析類型是數(shù)據(jù)挖掘，分析師在這里評(píng)估大型數(shù)據(jù)集以確定關(guān)系、模式和趨勢。

數(shù)據(jù)分析可以包括探索性數(shù)據(jù)分析（識(shí)別數(shù)據(jù)中的模式和關(guān)系）和驗(yàn)證性數(shù)據(jù)分析（應(yīng)用統(tǒng)計(jì)方法來確定關(guān)于特定數(shù)據(jù)集的假設(shè)是否屬實(shí)）。

另一個(gè)區(qū)別是定量數(shù)據(jù)分析（或?qū)哂锌梢越y(tǒng)計(jì)比較的可量化變量的數(shù)字?jǐn)?shù)據(jù)的分析）與定性數(shù)據(jù)分析（其側(cè)重于非數(shù)字?jǐn)?shù)據(jù)，如視頻、圖像和文本）。

支持大數(shù)據(jù)的IT基礎(chǔ)設(shè)施

要讓大數(shù)據(jù)的概念發(fā)揮作用，組織需要有合適的基礎(chǔ)設(shè)施來收集和存儲(chǔ)數(shù)據(jù)、提供對(duì)數(shù)據(jù)的訪問并保護(hù)信息在存儲(chǔ)和傳輸過程中的安全。

這在較高的層面上還包括為大數(shù)據(jù)，數(shù)據(jù)管理和集成軟件，商業(yè)智能和數(shù)據(jù)分析軟件以及大數(shù)據(jù)應(yīng)用設(shè)計(jì)的存儲(chǔ)系統(tǒng)和服務(wù)器。

由于公司希望繼續(xù)利用其數(shù)據(jù)中心投資，大部分這種基礎(chǔ)設(shè)施可能會(huì)在本地部署。但越來越多的組織依靠云計(jì)算服務(wù)來處理他們的大部分大數(shù)據(jù)需求。

數(shù)據(jù)收集需要有收集數(shù)據(jù)的來源。其中有很多來源——如Web應(yīng)用程序、社交媒體渠道、移動(dòng)應(yīng)用程序和電子郵件存檔——已經(jīng)就位。但隨著物聯(lián)網(wǎng)的逐漸成熟，企業(yè)可能需要在各種設(shè)備、車輛和產(chǎn)品上部署傳感器、以及生成用戶數(shù)據(jù)的新應(yīng)用程序來收集數(shù)據(jù)。（面向物聯(lián)網(wǎng)的大數(shù)據(jù)分析具有自身的專業(yè)技術(shù)和工具。）

為了存儲(chǔ)所有傳入的數(shù)據(jù)，組織需要有足夠的數(shù)據(jù)存儲(chǔ)。存儲(chǔ)選項(xiàng)包括傳統(tǒng)的數(shù)據(jù)倉庫，數(shù)據(jù)湖泊和基于云的存儲(chǔ)。

安全基礎(chǔ)架構(gòu)工具可能包括數(shù)據(jù)加密、用戶身份驗(yàn)證和其它訪問控制、監(jiān)控系統(tǒng)、防火墻、企業(yè)移動(dòng)管理以及其它保護(hù)系統(tǒng)和數(shù)據(jù)的產(chǎn)品，

大數(shù)據(jù)特有的技術(shù)

一般來說，除了上述用于數(shù)據(jù)的IT基礎(chǔ)架構(gòu)之外。你的IT基礎(chǔ)架構(gòu)應(yīng)該支持大數(shù)據(jù)特有的幾種技術(shù)。

Hadoop生態(tài)系統(tǒng)

Hadoop是其中一項(xiàng)與大數(shù)據(jù)密切相關(guān)的技術(shù)。Apache Hadoop項(xiàng)目為可擴(kuò)展的分布式計(jì)算開發(fā)開源軟件。

Hadoop軟件庫是一個(gè)框架，該框架支持使用簡單的編程模型在計(jì)算機(jī)集群中對(duì)大數(shù)據(jù)集進(jìn)行分布式處理。它旨在從單個(gè)服務(wù)器擴(kuò)展到數(shù)千個(gè)，每個(gè)服務(wù)器都提供本地計(jì)算和存儲(chǔ)。

該項(xiàng)目包括幾個(gè)模塊：

· Hadoop Common是支持其它Hadoop模塊的通用工具

· Hadoop分布式文件系統(tǒng)，它可以為應(yīng)用程序數(shù)據(jù)提供高吞吐量的訪問

· Hadoop YARN是一個(gè)作業(yè)調(diào)度和集群資源管理的框架

· Hadoop MapReduce是一個(gè)基于YARN的大數(shù)據(jù)集并行處理系統(tǒng)。

Apache Spark

作為Hadoop生態(tài)系統(tǒng)的一部分的Apache Spark是一個(gè)開源的集群計(jì)算框架，它可充當(dāng)在Hadoop中處理大數(shù)據(jù)的引擎。Spark已經(jīng)成為關(guān)鍵的大數(shù)據(jù)分布式處理框架之一，而且它可以通過多種方式進(jìn)行部署。它為Java、Scala、Python（尤其是Natrona Python發(fā)行版）和R編程語言（R特別適用于大數(shù)據(jù)）提供本地綁定，它還支持SQL、流數(shù)據(jù)、機(jī)器學(xué)習(xí)和圖形處理。

數(shù)據(jù)湖泊

數(shù)據(jù)湖泊是存儲(chǔ)庫，這個(gè)存儲(chǔ)庫可以容納大量以原始格式的形式存在的數(shù)據(jù)，直到業(yè)務(wù)用戶需要數(shù)據(jù)為止。數(shù)字化轉(zhuǎn)型舉措和物聯(lián)網(wǎng)的發(fā)展是數(shù)據(jù)湖泊發(fā)展的推手。數(shù)據(jù)湖的宗旨是，在用戶有需求時(shí)，使他們更輕松地訪問大量的數(shù)據(jù)。

NoSQL數(shù)據(jù)庫

常規(guī)的SQL數(shù)據(jù)庫是為可靠的事務(wù)（transactions）和即時(shí)查詢（ad hoc queries）而設(shè)計(jì)的，但它們具有嚴(yán)謹(jǐn)架構(gòu)（schema）之類的限制，這些限制使得它們不太適合某些類型的應(yīng)用程序。NoSQL數(shù)據(jù)庫解決了這些限制，并以這樣的方式存儲(chǔ)和管理數(shù)據(jù)——將高操作速度和巨大的靈活性考慮進(jìn)來。很多NoSQL數(shù)據(jù)庫都是由這樣的公司開發(fā)的——這些公司追求能為大量網(wǎng)站存儲(chǔ)內(nèi)容或處理數(shù)據(jù)的更好的方法。NoSQL數(shù)據(jù)庫與SQL數(shù)據(jù)庫不同的是，前者可以在數(shù)百或數(shù)千臺(tái)服務(wù)器上水平擴(kuò)大和縮小規(guī)模。

內(nèi)存數(shù)據(jù)庫

內(nèi)存數(shù)據(jù)庫（IMDB）是一種數(shù)據(jù)庫管理系統(tǒng)，它主要依靠主存儲(chǔ)器而不是磁盤來存儲(chǔ)數(shù)據(jù)。內(nèi)存數(shù)據(jù)庫比磁盤優(yōu)化的數(shù)據(jù)庫運(yùn)行得更快，這是大數(shù)據(jù)分析使用和數(shù)據(jù)倉庫和數(shù)據(jù)集市創(chuàng)建的重要考慮因素。

大數(shù)據(jù)技能

大數(shù)據(jù)和大數(shù)據(jù)分析工作需要特定的技能，無論這些技能是從組織內(nèi)部還是外部專家那里獲取。

這其中有很多技能都與關(guān)鍵的大數(shù)據(jù)技術(shù)組件相關(guān)，如Hadoop、Spark、NoSQL數(shù)據(jù)庫，內(nèi)存數(shù)據(jù)庫和分析軟件。

其它技能則針對(duì)數(shù)據(jù)科學(xué)、數(shù)據(jù)挖掘、統(tǒng)計(jì)和定量分析、數(shù)據(jù)可視化、通用編程以及數(shù)據(jù)結(jié)構(gòu)和算法等學(xué)科。我們還需要具備全面管理技能的人員來完成大數(shù)據(jù)項(xiàng)目。

鑒于大數(shù)據(jù)分析項(xiàng)目的普遍性在以及這一系列技能的人才的短缺，尋找有經(jīng)驗(yàn)的專業(yè)人員可能是組織面臨的最大挑戰(zhàn)之一。

大數(shù)據(jù)用例

大數(shù)據(jù)和分析可以應(yīng)用于很多業(yè)務(wù)問題和用例。下面就是幾個(gè)例子：

·客戶分析。公司可以檢驗(yàn)客戶數(shù)據(jù)以改善客戶體驗(yàn)，提高轉(zhuǎn)化率并增加留存率。

·運(yùn)營分析。提高運(yùn)營績效并更好地利用企業(yè)資產(chǎn)是很多公司的目標(biāo)。大數(shù)據(jù)分析可以幫助企業(yè)找到更高效地運(yùn)營的方法，以及提高績效的方法。

·預(yù)防詐騙。數(shù)據(jù)分析有助于發(fā)現(xiàn)可能表明出欺詐行為的可疑活動(dòng)和模式，并有助于降低風(fēng)險(xiǎn)。

·價(jià)格優(yōu)化。公司可以使用大數(shù)據(jù)分析來優(yōu)化他們?yōu)楫a(chǎn)品和服務(wù)收取的價(jià)格，從而幫助提高收入。