2012年11月25日 星期日

2012 台灣 Big Data 元年五大趨勢預測的實現強度

2012 年初,Etu 以精誠資訊雲中心的名義發表了對台灣 Big Data 元年的五大趨勢預測
  1. Big Data 議題加溫,網路企業、大型企業,與政府為核心利益者;
  2. 以 Hadoop 為核心的開源軟體群將成為 Big Data 的關鍵技術;
  3. 傳統 IT 大廠,將競逐 Big Data 市場大餅;
  4. 熟稔 Hadoop 的技術人員,將成為人力市場熱門新寵;
  5. 企業對資料分析師的需求日益增高。
從結果來看,這五大趨勢盡皆發生,但強度不一。以下是我們對各項趨勢實現強度的評量:

表 1. 2012 台灣 Big Data 元年五大趨勢預測實現強度

我們一一來說明這五大趨勢在 2012 年的發展現狀。

1. Big Data 議題加溫,網路企業、大型企業,與政府為核心利益者
強度:★★★★

我們從「Big Data」的價值來看:
  • 網路企業,首重網路服務客戶體驗的增強,如何能夠善用大量的使用者瀏覽行為資料,改善「痛點」或「斷點」,最佳化路徑導引,增加瀏覽或購買的轉化率。
  • 大型企業,尤其是電信、金融、高科技製造、零售流通這些焦點行業,大量的客戶數、生產數據、商品種類與規模,讓服務流程、商業流程、或製造流程 End-to-End 環節中的多結構化巨量資料,處處可見、可發揮價值。
  • 政府,隨著 Open Data、Open Government 的議題發酵,隨著各級政府不同部門的資料釋出,以便民與創造加值應用為目的,Big Data 平台、處理技術、分析方法,必有大用。
Big Data 議題持續發燒,各核心利益者莫不加強學習與擬定應對策略。

    2.以 Hadoop 為核心的開源軟體群將成為 Big Data 的關鍵技術
    強度:★★★★★

    Hadoop Ecosystem 已經成為繼 Linux 以來,最成功的開放原始碼生態系統。這一年來,台灣的 FOSS (自由/開放原始碼軟體) 蓬勃發展,以探討圍繞在 Hadoop Core 平台 (包含 HDFS 與 Map/Reduce) 週邊為主題的諸多專業社群,如雨後春筍般成立,大小聚會不斷。除了已經行之有年的 Taiwan Hadoop User Group,今年拓大舉辦 Hadoop in Taiwan 2012 大型會議外,其他像以 NoSQL Taiwan 為傘架的一系列 Not only SQL DB 技術小聚;統計、Data Mining、Machine Learning 方面的 Taiwan useR Group (Open Source R Programming);在 CloudTW 社群中也有顯著份量的 Hadoop-based Big Data 各種討論。

    對於覺得撰寫 Java 來進行低階 Map/Reduce 運算難度太高的人來說,Pig 與 Hive 這兩個開放源碼專案,幾乎已經是高階 Hadoop-based 資料運算入門必學的技能。而坊間,包含 Etu 自己,都已經有課程開出,部份滿足 Hadoop 人才技能養成的需求。

    Hadoop 相關技術研討會與教育訓練額滿,是常見的事。

    3. 傳統 IT 大廠,將競逐 Big Data 市場大餅
    強度:★★★

    除去 Cold Data 儲存系統的廠商與產品不談,能夠具有 Terabyte 以上巨量資料運算能力的產品,除了專長在半結構化與非結構化的各家 Hadoop Distribution (發行版本) 之外,傳統 IT 大廠,如 IBM、EMC Greenplum、SAP、Sybase、HP,莫不以擅長結構化資料分析的 MPP DB (Massively Parallel Processing DB) 為主要武器,與傳統 Data Warehouse 爭奪 OLAP 的戰場。

    廠商產品消息不斷,但還是以引介國外的 Use Case 居多。

    4. 熟稔 Hadoop 的技術人員,將成為人力市場熱門新寵
    強度:★★★★

    若您現在 (2012 年 11 月底) 去 104 人力銀行輸入 "hadoop" 關鍵字進行工作搜尋,可以看到將近 60 筆的職缺。而這個數字在 2012 年初時,只有不到 20 筆。

    再以筆者也在其內的 LinkedIn 社群 "Cloudera Certified Hadoop Professionals" (取得 Cloudera 專家認證者) 台灣人數來看,在 2012 年初時,還只有約 13~14 位,但現在已經有 25 位入列了。

    在 Cloudera Certified Hadoop Professionals 裡面,其實主要還可以區分 Developer 與 System Administrator 兩種不同的角色。就實際完成一項 Hadoop 巨量資料處理的應用與上線運作而言,缺一不可,各司其職,互有專精。

    說真的雲端運算技術:分散式檔案系統與平行運算架構,讓 Hadoop 成為 Cloud Computing 最典型的架構代表,也擁有相對多的學習資源。

    5. 企業對資料分析師的需求日益增高
    強度:★★

    在上一篇部落文《企業修煉 Big Data 的三道門與四種關鍵角色》中,我們說在「不知道該問 Big Data 什麼問題?」第三道門外,是擁有發問能力的 Data Analyst (資料分析師) 或是 Data Scientist (資料科學家),他們透過統計、分析、視覺化工具,面對 Big Data Set,進行反覆的查詢方式,負責提出資料分析的演算法,能夠針對結果進行判讀,找出商業價值。

    當企業決心長期投入 Big Data 的價值挖掘之時,一定得就資料分析師的資源取得,有所規劃。無論是採取內部配置或是與外面的專家配合。

    許多企業還在前兩道門外徘徊:「不知道 Big Data 的價值何在?」、「不知道 Big Data 該如何處理?」,對資料分析師的價值認定有了,但需求熱度還未快速上升。

    想進一步知道我們對 2013 年台灣 Big Data 的發展有何新的趨勢預測嗎?歡迎密切注意即將在 12 月 20 日舉行的 Etu Solution Day 2012 相關消息,我們將在現場公佈,分享給來賓與媒體,也希望明年此時,大家可以一起來檢視實現的強度。



      

    沒有留言:

    張貼留言