Big Data 要發功?你找對顧問了嗎?

筆者在《2016 台灣 Big Data 市場五大趨勢預測》中曾說:

2016 年在特定行業,跟進的速度,會有突出的進展,如高科技製造、電信、金融、零售、甚至是教育。然而,在企業跟進探索 Big Data 價值的過程中,會發現如果內部人員沒有先期的養成、一段時間的應用 Practice,將會被許多的大小石頭絆倒。這樣的痛,特別是在採用比 Hadoop 還要新的其他 Open Source 技術時 (如 Spark),更會被放大。2016 年,將更能凸顯能夠提供穩定產品、應用架構顧問、技術支援服務、及時回應企業問題的專業廠商價值。

(詳見原文 5. 跟隨標竿企業的 Big Data 應用導入速度加快,但痛過才知該如何擁抱 Open Source 軟體)

2016 年已經過去快一半了,現在先來檢視此項預測,準確度還不低。怎麼說?
照片來源:Flickr CC

以 Etu 碰觸到的企業來看,今年新建籌組 Big Data 分析團隊的家數,比起去年,更加蓬勃。而原本就有資料倉儲、資料分析團隊的企業,也編起預算,想要延伸到半結構/非結構化資料的領域。

在這個過程中,企業缺乏的,通常不是資料分析的人才或技能,反而是讓他們可以靈活調度多結構化資料、無憂進行分析工作的 Data Lake 平台,以及維持這個 Data Lake 正常運作所需的規劃能力、Data Preparation 能力 (從資料盤點、儲存、預處理、到結構化入庫的整串流程)、維運能力、與故障排除能力等。

而企業的現狀是:大部分尚未具備上述與 Data Lake 相關的能力。

這個就是專業廠商顧問服務的機會。

企業可以從幾個面向,來判斷一家廠商 Data Lake 的顧問能力與能量:
  1. Hadoop 專家的經歷
    最好經歷過上百個節點以上 Production Site 的營運經驗。會遇到的問題,基本上都已經具備實戰的經驗,解決手法也較細膩。
  2. Hadoop 專家的數量
    不宜太少,以免廠商有錢收也調派不出人手。
  3. 溝通的成本與效率
    包含距離的遠近與是不是講相同的語言。台灣本地搭計程車、高鐵,國外來的顧問要搭飛機;台灣的專家講台語也會通,國外的顧問多數要烙英文。
  4. 應用開發經驗
    能站在使用者的角度,依據應用的特性,來進行 Data Lake 架構與營運合理性的規劃。
  5. 系統最佳化經驗
    必須具備 Linux 作業系統的效能最佳化、HA 架構、資訊安全等各種系統管理能力。
  6. 大型資料中心管理經驗
    當 Data Lake 節點數量達到某個數量級 (如一個機櫃),叢集自動化管理、網段規劃與頻寬管理等,都是關鍵重點。
簡言之,企業有了值得信賴的專業廠商當夥伴,不管是受其顧問服務還是建置服務,Big Data 的應用,才能立於一個穩定的基礎之上來發展與探索。對資料分析團隊與 IT,都將帶來價值與效益。




留言