2014年12月24日 星期三

2015 台灣 Big Data 市場五大趨勢預測

叮叮噹、叮叮噹......,2014 即將步入尾聲,回顧這一年的 Big Data 相關發展,我們可以這樣總結:「在跨行業的水底持續積蓄能量,在特定的洲際大樓上空爆出更多火花」。Big Data,不只是顯學,它現在已經是企業的必要學。在提出 2015 台灣 Big Data 市場五大趨勢預測之前,筆者就先藉投入這個市場的幾點經驗與感想總結,來做為開場。

圖 1.  Big Data 應用的價值亮點,正在不同領域,開出漂亮的火花
(photo credit: Amir Kbah)

資料是 21 世紀的石油?

在 2010~2013 時談論 Big Data,很多人喜歡用「資料是 21 世紀的石油」來做比喻,但這種類比其實只對了一半。從精鍊產生價值,這部份沒有問題;但從資源的耗損與生成來看,卻完全無法比擬:

石油是「用後即逝」的實體資源,但資料是「用後不滅」,越用累積的價值越高;石油生成的速度很慢 (植物殘骸轉化為石油須歷經一百萬年以上),而根據 IDC 的推估,全世界的資料,每二年就會增加一倍

到了 2014,台灣已經走過 Big Data 的通識教育階段,但在本質的思考上,利益相關者,不妨可以再行深思遠。

Big Data 價值主張

Etu 從 2012 年產品上市以來,即鎖定企業市場,在其中提供特定行業End-to-End Big Data Solution。我們一開始就知道,Big Data 不是人人想要、人人需要,企業市場會由特定的行業發動,從高度客製化的 End-to-End 專案開始買單,直到可重複銷售的方案出現,方得跨越鴻溝,邁入保齡球道

圖 2. Etu 的 Big Data 價值主張

所以,我們堅定地走在 Verticals 與 End-to-End Solution 交疊的路上,持續為擁有資料的客戶 (Data Owner) 服務,協助他們實踐 Big Data 的價值。

2015 年台灣 Big Data 市場五大趨勢預測

以下就是筆者提出的 2015 年台灣 Big Data 市場五大趨勢預測:
  1. 客戶洞察成為所有 B2C 商業的顯學,社群媒體分析是 360° 單一顧客樣貌的新增要素; 
  2. In-memory 分散式運算開源軟體日益成熟,企業的近即時巨量資料應用 (Near Real-time Big Data Application) 成本降低,大大增加「快速偵知與快速反應」實現的可能; 
  3. 物聯網 (IoT) 與巨量資料分析 (BDA) 結合,成就應用的區隔化與細緻化; 
  4. 資料產品 (Data Product) 雲服務化,讓中小企業有機會參與巨量資料的價值應用; 
  5. 資料分析人才需求持續增長,但唯有能結合領域知識者,才能成為箇中翹楚。 
各項預測說明如下:


1. 客戶洞察成為所有 B2C 商業的顯學,社群媒體分析是 360° 單一顧客樣貌的新增要素

從電信、零售、金融、品牌、到各種線上服務,Single Customer View (單一顧客樣貌) 在廣大的 B2C 領域,已經成為 Marketer 與 Business Analyst 亟欲實現的任務。從實務上來說,要做到的是視野的擴大,典型的作法是:取企業原本就有的 CRM 資料 (User Profile + Transaction Data + Customer Service Data),加上客戶的線上行為資料 (看什麼、點什麼、搜什麼、買什麼、評論什麼、分享什麼......),再加上來自社群媒體的資料 (貼文、貼圖、按讚、分享、回覆、打卡、圖譜......),形成針對分群或個別客戶的全方位洞察。企業要料理與分析線上行為與社群媒體的資料,顯然需要累積更多經驗,也需要新的工具與服務。

經過前兩年的市場教育與諸多的 PoC 驗證,隨著成功案例一一出現,2015  將是這類應用市場起飛的一年。

2. In-memory 分散式運算開源軟體日益成熟,企業的近即時巨量資料應用 (Near Real-time Big Data Application) 成本降低,大大增加「快速偵知與快速反應」實現的可能

筆者在上一篇部落文《Strata+Hadoop World 2014 New York 觀察》就提到 Big Data 處理與分析及時性的躍進,從 Hr (Batch) -> Sec (Near Real-time) -> Millisec (Real-time)。欲獲其利者,Hadoop Ecosystem  中的 Impala、Storm、Spark,絕對是重中之重,應用場域含括多結構化資料倉儲互動查詢、CEP (Complex Event Processing) 資料串流處理、SQL-like 查詢、統計與機器學習上。

開源軟體 + 門檻降低 + 成功案例 + 社群推波 = 大量嘗試近即時應用的 2015 年

3. 物聯網 (IoT) 與巨量資料分析 (BDA) 結合,成就應用的區隔化與細緻化

從 Internet of People 到 Internet of Things,再到 Internet of Everything,筆者在《拆解 IoT 與 IoE,其實他們說的是 Internet of Data ── 聯網皆資料》這篇文章中已經點出,歸結到最後,其實大家說的是:Internet of Data (聯網皆資料)。

IoT 跟 Big Data 一樣,若沒有特定的應用場域,充其量也就是一些架構圖與流程圖罷了。而 Smart City、Smart Factory、Smart Building、Smart Home,若沒有指出 Use Case,也只是諸多應用的集合概念,並沒有可落地實踐的標的。

2015  年,IoT 議題還是會持續在台灣的產官學研中延燒,所以當務之急,是明確指出應用場域中特定的 Use Case,探討它的價值、使用的對象、該建構哪些前端裝置、後端系統、網路設備。在產品或服務規劃的過程中,產品經理會深刻明瞭一件事:基於聯網資料分析後的行動,將會是在市場上進行差異化競爭的關鍵。

4. 資料產品 (Data Product) 雲服務化,讓中小企業有機會參與巨量資料的價值應用

我們發覺,在許多 Big Data 的應用上,中小企業很難參與的主要原因是:建置成本太高。究其原因,可能是在生、流、存、算、用、看系列過程中,任一環節或多環節的軟硬體建置、技術能量或作業需求成本居高不下堆疊起來的。

編列上百萬、乃至千萬的 Big Data 解決方案預算,對大型企業來說,也許是正常事,但對大部分中小企業來說,是無法接受的事。

解決之道,是利用雲服務的商業模式,由一個單位來負責服務的建置與營運,以負擔得起的價格,依用量或月費,吸引中小企業的使用。但雲服務業者的挑戰將是:如何彰顯使用效益?

歷經前面幾年的 On-premises 市場發展,將解決方案轉變成雲服務資料產品,將是  2015 年一些 Big Data Solution Provider 前進的道路。

5. 資料分析人才需求持續增長,但唯有能結合領域知識者,才能成為箇中翹楚

圖 3. 資料產品建構者

如上圖所示,資料價值的載體是資料產品 (Data Product),而資料擁有者 (Data Owner)、資料科學團隊 (Data Science Team)、與領域專家 (Domain Expert),則是打造資料產品的鐵三角,缺一不可。資料科學團隊裡至少會有處理者、分析者、策略者,筆者曾在《資料價值還缺一味,資料科學團隊還缺一位》中提到:「當涉及資料分析,但卻缺乏領域經驗或知識來添味,往往數字只是數字、圖表只是圖表,探索無方,洞見難生」、「資料價值的提取,如果能夠有一位領域專家隨侍在側,即問即答,必然可使如瞎子摸象的外行臆測行為降低,讓潛規則浮露,真實湧現」。

「能不能介紹資料分析師給我?」這是客戶常常對我們說的話。2015 年有計畫要組織資料科學團隊的企業還會持續增加,其中又以具備 Big Data 經驗的資料分析師缺得最厲害。一位懂分析又具備領域知識者,將是難能可貴的人才,搶手自不在話下。

以上就是筆者對 2015 台灣 Big Data 市場的五大趨勢預測說明。如果您有不同的看法,歡迎來信交流:fredchiang [at] gmail.com 。

感謝收看。老話一句:我們明年再來。



沒有留言:

張貼留言