在大數據領域里，經常會看到例如數據挖掘、數據分析、大數據數據等等的專業詞匯。如果僅僅從字面上，我們很難說清楚每個詞匯的意義和區別。很多人在剛入門的時候，這幾個概念經常會分不清，今天，我們淺談一下大數據分析及挖掘技術!

首先我們需要了解什么是大數據(Big Data)?大數據的發展趨勢?

什么是大數據(Big Data)

大數據，或稱巨量數據、海量數據、大資料，指的是所涉及的數據量規模巨大到無法通過人工，在合理時間達到截取、管理、處理、并整理成為人類所能解讀的形式的信息。積極目的的資訊。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》 中大數據指不用隨機分析法(抽樣調查)這樣捷徑，而采用所有數據進行分析處理。

大數據發展趨勢

趨勢一：數據的資源化

何為資源化，是指大數據成為企業和社會關注的重要戰略資源，并已成為大家爭相搶奪的新焦點。因而，企業必須要提前制定大數據營銷戰略計劃，搶占市場先機。

趨勢二：與云計算的深度結合

大數據離不開云處理，云處理為大數據提供了彈性可拓展的基礎設備，是產生大數據的平臺之一。自2013年開始，大數據技術已開始和云計算技術緊密結合，預計未來兩者關系將更為密切。除此之外，物聯網、移動互聯網等新興計算形態，也將一齊助力大數據革命，讓大數據營銷發揮出更大的影響力。

趨勢三：科學理論的突破

隨著大數據的快速發展，就像計算機和互聯網一樣，大數據很有可能是新一輪的技術革命。隨之興起的數據挖掘、機器學習和人工智能等相關技術，可能會改變數據世界里的很多算法和基礎理論，實現科學技術上的突破。

趨勢四：數據科學和數據聯盟的成立

未來，數據科學將成為一門專門的學科，被越來越多的人所認知。各大高校將設立專門的數據科學類專業，也會催生一批與之相關的新的就業崗位。與此同時，基于數據這個基礎平臺，也將建立起跨領域的數據共享平臺，之后，數據共享將擴展到企業層面，并且成為未來產業的核心一環。

趨勢五：數據泄露泛濫

未來幾年數據泄露事件的增長率也許會達到100%，除非數據在其源頭就能夠得到安全保障?？梢哉f，在未來，每個財富500強企業都會面臨數據攻擊，無論他們是否已經做好安全防范。而所有企業，無論規模大小，都需要重新審視今天的安全定義。在財富500強企業中，超過50%將會設置首席信息安全官這一職位。企業需要從新的角度來確保自身以及客戶數據，所有數據在創建之初便需要獲得安全保障，而并非在數據保存的最后一個環節，僅僅加強后者的安全措施已被證明于事無補。

趨勢六：數據管理成為核心競爭力

數據管理成為核心競爭力，直接影響財務表現。當“數據資產是企業核心資產”的概念深入人心之后，企業對于數據管理便有了更清晰的界定，將數據管理作為企業核心競爭力，持續發展，戰略性規劃與運用數據資產，成為企業數據管理的核心。數據資產管理效率與主營業務收入增長率、銷售收入增長率顯著正相關;此外，對于具有互聯網思維的企業而言，數據資產競爭力所占比重為36.8%，數據資產的管理效果將直接影響企業的財務表現。

趨勢七：數據質量是BI(商業智能)成功的關鍵

采用自助式商業智能工具進行大數據處理的企業將會脫穎而出。其中要面臨的一個挑戰是，很多數據源會帶來大量低質量數據。想要成功，企業需要理解原始數據與數據分析之間的差距，從而消除低質量數據并通過BI獲得更佳決策。

趨勢八：數據生態系統復合化程度加強

大數據的世界不只是一個單一的、巨大的計算機網絡，而是一個由大量活動構件與多元參與者元素所構成的生態系統，終端設備提供商、基礎設施提供商、網絡服務提供商、網絡接入服務提供商、數據服務使能者、數據服務提供商、觸點服務、數據服務零售商等等一系列的參與者共同構建的生態系統。而今，這樣一套數據生態系統的基本雛形已然形成，接下來的發展將趨向于系統內部角色的細分，也就是市場的細分;系統機制的調整，也就是商業模式的創新;系統結構的調整，也就是競爭環境的調整等等，從而使得數據生態系統復合化程度逐漸增強。

接下來，咱們再淺談一下大數據分析及挖掘技術!

? 在大數據觀念不斷被提及的今天，大數據分析與挖掘技術作為大數據處理的關鍵技術，其重要性更是不言而喻。本期技術科普將結合電視劇《紙牌屋》與Netflix公司等實際案例，從大數據分析及挖掘的定義、對象、流程及方法展開介紹。

數據挖掘的定義

? 數據挖掘(Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

數據挖掘對象

借助于數據挖掘技術，Netflix在《紙牌屋》播出之前就已勝券在握。它的成功得益于Netflix對當時3300萬訂閱用戶的海量數據積累和分析。這一數據挖掘的對象包括文本數據源、多媒體數據庫、空間數據庫、時態數據庫等。

當一位用戶通過瀏覽器登錄Netflix賬號，Netflix后臺技術將用戶位置數據、設備數據悄悄地記錄下來。這些記憶代碼還包括用戶收看過程中所做的收藏、推薦到社交網絡等動作。在Netflix看來，暫停、回放、快進、停止等動作都是一個行為，每天用戶在Netflix上將產生高達3000多萬個行為，此外，Netflix的訂閱用戶每天還會給出400萬個評分、300萬次搜索請求、詢問劇集播放時間等。因此，Netflix可以做到最及時準確地掌握電影電視劇市場的熱度動態。

數據挖掘流程

數據挖掘的流程可以分為定義問題、選擇數據、數據預處理、數據挖掘、結果分析五個部分。

Netflix利用數據挖掘計算出喜歡“BBC劇”“大衛·芬奇”和“凱文·史派西”的用戶存在極大程度的交集?；谶@一關鍵要素，Netflix用1億美元買下一部早在1990年就播出的BBC電視劇《紙牌屋》的版權，請來導演大衛·芬奇(David Fincher)，并由老戲骨凱文·史派西(Kevin Spacey)擔當男主角。最終《紙牌屋》不僅是當年Netflix網站上有史以來觀看量最高的劇集，也在美國及40多個國家大熱。

Netflix用事實告訴資本市場，大數據不是花架子，而是地道的生產力。

當然統計學上講，100%的概率都未必發生，0%的概率都未必不發生，這只是小概率事件，不要讓這個成為你脫單的絆腳石。

數據挖掘方法及實踐

1.統計分析

在數據庫字段項之間存在兩種關系：函數關系和相關關系，對它們的分析可采用統計學方法，即利用統計學原理對數據庫中的信息進行分析?？蛇M行常用統計、回歸分析、相關分析、差異分析等。

下面將以1896年雅典奧運會到2016年里約奧運會的所有比賽運動員數據為例，從金牌運動員身高與體重的角度進行分析并展示。人的身高和體重是兩種相關性的量，可以用回歸分析來分析。

從金牌運動員身高體重關系的箱型圖中我們發現，身高和體重數據基本都在回歸線上，除了體重大于120公斤的運動員，他們參加的項目主要是舉重和柔道。

2.預測性分析

大數據分析最重要的應用領域之一就是預測性分析，預測性分析結合了多種高級分析功能，包括特別統計分析、預測建模、數據挖掘、文本分析、實體分析、優化、實時評分、機器學習等。

上圖是金牌運動員身高體重關系的預測模型。線性回歸要求因變量必須是連續性數據變量;邏輯回歸要求因變量必須是分類變量，二分類或者多分類。例如，要分析性別、年齡、身高、飲食習慣對于體重的影響，如果這個體重是屬于實際的重量，是連續性的數據變量，這時采用線性回歸;如果將體重分類成低、中、高這三種類型作為因變量，則采用邏輯回歸。

從紛繁的數據中挖掘出其特點，可以幫助我們了解目前狀況以及確定下一步的行動方案，從依靠猜測進行決策轉變為依靠預測進行決策。它能夠幫助分析用戶的結構化和非結構化數據中的趨勢、模式和關系，運用這些指標來洞察預測將來事件，并做出相應的措施。

大數據分析更多依賴于業務知識，數據挖掘更多側重于技術的實現，對于業務的要求稍微有所降低，數據挖掘往往需要更大數據量，而數據量越大，對于技術的要求也就越高需要比較強的編程能力，數學能力和機器學習的能力。如果從結果上來看，數據分析更多側重的是結果的呈現，需要結合業務知識來進行解讀。而數據挖掘的結果是一個模型，通過這個模型來分析整個數據的規律，一次來實現對于未來的預測，比如判斷用戶的特點，用戶適合什么樣的營銷活動。顯然，數據挖掘比數據分析要更深一個層次。數據分析是將數據轉化為信息的工具，而數據挖掘是將信息轉化為認知的工具。